Unsloth 开源本地大模型桌面应用实测：运行+微调一体，2 倍速训练省 70% 显存

Unsloth 开源本地大模型桌面应用实测：运行+微调一体，2 倍速训练省 70% 显存项目卡片

Unsloth 开源本地大模型桌面应用实测：运行+微调一体，2 倍速训练省 70% 显存介绍横幅

这是什么

Unsloth 是一个开源的本地大模型桌面应用，Python 编写、Apache-2.0 协议，GitHub 上约 7.8 万 Star。官方给它的定位很特别——「第一款用来运行和训练模型的桌面应用」，也就是把「跑大模型」和「微调大模型」这两件过去需要命令行、写代码、折腾 GPU 环境的事，打包成了一个双击就能用的软件。

在 Unsloth 之前，想在本地用大模型，大多数人走的是 Ollama、LM Studio 这类「纯运行」工具；想微调模型，又得另学一堆训练框架、配 CUDA 环境。Unsloth 把两条线合在了一起：同一个界面里，你既能像聊天软件一样跑 Qwen、DeepSeek、Gemma 这些开源模型，也能点几下就发起一次微调训练，官方宣称训练速度能快 2 倍、显存占用省 70%，而且不损失精度。它支持 Windows、macOS、Linux 和 WSL，还能调用多块 NVIDIA、AMD、Intel 显卡甚至纯 CPU 跑。

核心能力

运行各类大模型：支持 Qwen3.8、DeepSeek-V4、Gemma 4、MiniMax-H3、Kimi K3 等主流模型，也支持 GGUF、MLX 格式和扩散、语音、嵌入等模型
高速微调训练：微调 LLM、扩散、TTS、嵌入模型速度提升 2 倍、显存省 70%，支持 LoRA、QLoRA、全量微调、RL、GRPO、DPO、FP8
连接编程智能体：一条命令 unsloth start claude 就能让 Claude Code、Codex、MCP 等接上本地模型，省下 API 费用
搜索与 RAG：内置私有无限制联网搜索、深度研究、上下文自动压缩（rolling context window）和 RAG 知识库
图像与视频模型：本地运行和训练文生图、视频扩散模型以及多模态模型
OpenAI 兼容 API：把本地模型以 OpenAI 兼容接口暴露出来，还能接 ChatGPT/Codex 订阅和云厂商，远程用 Cloudflare HTTPS 访问
导出与部署：一键导出 GGUF、NVFP4、FP8 等格式，也能从 PDF、CSV、DOCX 构建训练数据集（Data Recipes）

适合谁

想本地跑大模型、又不想碰命令行和配置环境的人，装个桌面应用就能用
需要微调自己领域模型的开发者或小团队，用更少的显存和更短的时间完成训练
已经在用 Claude Code、Codex 等编程智能体、想接本地模型省 token 费用的程序员
对数据隐私敏感、要求模型和训练数据都不出内网的企业用户

获取方式

官网 unsloth.ai/docs 提供完整文档、模型列表和免费笔记本教程。安装很简单：去 unsloth.ai/download 或 GitHub Releases 下载对应系统的桌面应用（Windows exe、macOS dmg、Linux deb/AppImage），也可以用 winget、Homebrew 安装，或直接跑官方一键脚本。Docker 用户有现成镜像 unsloth/unsloth。项目 Apache-2.0 开源免费，本地运行和训练都不收费；它还有 Unsloth Studio（网页界面）和 Unsloth Core（代码版）两种用法，满足不同习惯。

官网：https://unsloth.ai/docs

项目地址：https://github.com/unslothai/unsloth