这是什么
exo 是 exo labs 团队开源的本地大模型集群工具，4.8 万 Star、3539 Fork，Python 编写，Apache-2.0 开源。它的核心创意很直接：把你手边的多台设备——旧 Mac、Windows 电脑、iPhone、iPad、安卓机——连成一个「AI 集群」，一起跑大模型。单台设备显存装不下的模型，拆到多台设备上并行就能跑起来；设备越多、速度越快。它还兼容 OpenAI、Claude、Ollama 接口，你现有的客户端和工具直接就能用，不用改代码。
核心能力
- 自动设备发现：运行 exo 的设备会自动互相发现，无需手动配置组网
- 拓扑感知并行：根据设备资源与网络延迟，自动决定模型怎么拆到各台设备
- 张量并行：2 台设备最高 1.8 倍、4 台最高 3.2 倍加速
- Thunderbolt RDMA：Mac 设备间超低延迟互联，多机几乎像单机
- 多接口兼容：OpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama 接口全兼容
- 自定义模型：从 HuggingFace 加载任意模型，突破内置模型范围
适合谁
- 有多台旧设备（Mac / PC / 手机）、想组集群跑大模型的极客
- 单机显存不够、想跑更大模型的本地 AI 玩家
- 想用现成客户端接本地模型、又不想折腾接口的开发者
- 研究分布式推理、想省钱替代云 GPU 的人
获取方式
exo 没有独立官网，GitHub 仓库即主入口，pip install exo 即可安装（PyPI 为官方安装入口）。Apache-2.0 协议开源免费；本地跑模型零成本，但需要设备算力支撑，设备越多能跑的模型越大。
官网：https://pypi.org/project/exo/
项目地址：https://github.com/exo-explore/exo
相关阅读
© 版权声明
文章版权归作者所有，未经允许请勿转载。
