这是什么
llama.cpp 是一个用 C/C++ 编写的开源大模型推理引擎,GitHub 上约 13.3 万星、2.5 万 fork,MIT 协议开源。它很可能是你用过的、却叫不出名字的工具:市面上最流行的本地大模型工具 Ollama、LM Studio、Jan、GPT4All,底层几乎都跑着 llama.cpp。它的核心价值一句话说清:把动辄几十 GB 的大模型压成 GGUF 量化格式,然后在不联网的普通电脑、甚至手机和树莓派上高效地跑起来。它支持 CPU(AVX2/AVX512)、NVIDIA CUDA、AMD ROCm、Apple Metal、Vulkan 等几乎所有主流硬件,一条命令就能启动一个 OpenAI 兼容的 HTTP 服务,让本地模型像调用云端 API 一样被任何应用接入。
核心能力
- GGUF 量化模型:支持 1-bit 到 8-bit 等多种量化精度,几十 GB 的大模型能压到几 GB,普通电脑、核显甚至手机都能跑。
- 多后端硬件加速:CPU、NVIDIA CUDA、AMD ROCm、Intel、Apple Silicon(Metal)、Vulkan 全覆盖,几乎不挑设备。
- llama-server 服务:一条命令启动 OpenAI 兼容的 HTTP API,现有的大量应用和客户端都能直接接入本地模型。
- 丰富命令行工具:llama-cli 对话、llama-quantize 量化、llama-perplexity 评估、llama-embedding 向量化等一应俱全。
- 极致性能优化:KV cache 量化、FlashAttention、批处理并行等,同等硬件下跑得更快、更省内存。
- 庞大生态底座:Ollama、LM Studio、llama-cpp-python(LangChain 集成)等都在其之上构建,生态兼容性极强。
适合谁
- 想在自己电脑或服务器上本地跑大模型、不想被订阅费绑架的开发者。
- 需要离线部署、数据不能出内网的政企、医疗、金融等团队。
- 想给现有应用接入本地 LLM、用 llama-server 的 OpenAI 兼容接口快速集成的工程师。
- 硬件有限(无独显或低显存)、想用量化把设备性能榨干的玩家。
获取方式
访问官网 llama.app 或 GitHub Releases 下载预编译二进制,Windows、macOS、Linux 都有现成版本;也支持 git clone 后自行 cmake 编译。流程通常是:先用 llama-quantize 把模型转成 GGUF 格式,再用 llama-server 启动服务即可调用。MIT 协议完全免费开源,无任何订阅费用。
项目地址:https://github.com/ggml-org/llama.cpp
相关阅读
© 版权声明
文章版权归作者所有,未经允许请勿转载。