自托管的 OpenAI 兼容 AI 引擎：大模型、语音、图像、视频模型都能跑，无需 GPU，数据完全留在本地。
项目地址：https://github.com/mudler/LocalAI
这是什么
LocalAI 是一个开源的自托管 AI 引擎，由 Ettore Di Giacinto（网名 mudler）主导开发，GitHub 星标约 4.9 万。它最大的特点是提供一个「OpenAI 兼容」的本地 API：你只要装一个 LocalAI，就能在自己电脑或服务器上跑大模型、语音转写、图像生成、视频等各类模型，而且不需要 GPU。对已经习惯调用 OpenAI 接口的开发者来说，把请求地址从云端换成本地 LocalAI，几乎不用改代码。
它本质上是把一堆本地推理后端（llama.cpp、whisper、stable-diffusion 等）包装成一个统一的 HTTP 服务，让你像用 OpenAI 一样用本地模型，数据完全留在自己手里。
这个项目最初以 go-skynet/LocalAI 的名字发布，后来迁移到 mudler 名下，是自托管 AI 社区里最活跃的项目之一。如果你已经在用 Ollama，可以把 LocalAI 理解成一个更「通用」的替代——它不止跑大模型，还把语音、图像、视频等能力一起装了进去。
核心能力
- OpenAI 兼容接口：提供 /v1/chat/completions、/v1/embeddings 等标准端点，现有代码改个 base_url 就能切到本地。
- 一个引擎跑多类模型：文本生成、语音转写（whisper）、文本转语音、图像生成、嵌入向量、重排序等都能承载。
- 无需 GPU：CPU 即可运行，普通电脑、树莓派、低配服务器都能跑起来。
- 支持多种模型格式：GGUF、GPTQ 等量化格式都支持，还能直接对接 Ollama 或 HuggingFace 上的模型。
- 分布式可选：可配置 P2P 模式，让多台机器上的模型被统一调度。
- 单二进制部署：用 Go 写成，部署简单，Docker 一条命令即可拉起。
适合谁
- 想给现有应用接一个「OpenAI 兼容」本地后端、又不想重写代码的开发者；
- 需要离线跑模型、数据必须留在本地的企业或对隐私敏感的用户；
- 硬件有限（无 GPU）但想在本地实验大模型的学生与个人玩家；
- 想统一管理语音、图像、文本多类本地模型的运维/自托管爱好者。
获取方式
官网 localai.io 提供详细文档与安装说明；可用 Docker 快速拉起，也提供二进制与 Kubernetes 部署方式。项目采用 MIT 协议开源，完全免费，可自由商用与二次开发。
相关阅读
© 版权声明
文章版权归作者所有，未经允许请勿转载。
