AnythingLLM 开源本地 AI 全家桶实测:聊天、RAG 知识库、AI 代理一个应用搞定

一站式本地优先 AI 应用:与文档对话、搭 RAG 知识库、跑 AI 代理,桌面端一键安装,也支持 Docker 私有部署。

AnythingLLM 项目页中文版 AnythingLLM 开源本地 AI 全家桶实测:聊天、RAG 知识库、AI 代理一个应用搞定

官网:https://anythingllm.com

项目地址:https://github.com/Mintplex-Labs/anything-llm

这是什么

AnythingLLM 是 Mintplex Labs 打造的一款「本地优先」的全能型 AI 应用,GitHub 星标已超过 6.6 万。它把「和 AI 聊天、跟自己的文档对话、跑 AI 代理」三件事整合进同一个应用里——你不用再为了聊天装一个工具、为了文档问答又装另一个。它最大的卖点是「本地优先」:模型可以跑在你自己的电脑或服务器上,数据不出本地,同时也能随时切换成 OpenAI、Claude、DeepSeek、通义等云端后端。

对不想把内部资料传到第三方云的个人和中小团队来说,它是一个开箱即用的选择:桌面端双击就能安装,要上生产环境也有 Docker 一条命令私有化部署,几乎不用折腾。

核心能力

  • 任意后端自由切换:同时支持云端大模型(OpenAI、Claude、Gemini、DeepSeek、通义等)与本地模型(Ollama、LM Studio、LocalAI),一个界面换后端,无需重装。
  • 内置 RAG 知识库:拖拽上传 PDF、Word、TXT、CSV、网页等资料,自动切片、向量化,之后就能「对着文档提问」,回答还带引用来源,方便溯源。
  • 可配置 AI 代理:内置 Agent,能调用工具完成联网搜索、抓取网页、执行代码等任务,而不只是被动聊天。
  • 工作区与多用户权限:用工作区(Workspace)把不同项目或团队的知识库隔离开,按用户分配读写权限。
  • 全平台部署:Windows、macOS、Linux 都有桌面端,也提供 Docker 镜像可部署到私有服务器。
  • 向量引擎灵活:embedding 模型本地/云端任选,向量库内置 LanceDB,也能接外部向量数据库。

适合谁

  • 想把公司内部资料做成「可问答知识库」的中小团队,又不想把数据传到公网云;
  • 已经在本地跑了大模型、想要一个顺手图形界面的个人玩家;
  • 需要在本地环境做 RAG 原型、给客户做私有化演示的独立开发者或顾问;
  • 希望统一管理「聊天 + 文档问答 + 代理」、减少工具切换成本的重度 AI 用户。

获取方式

官网提供桌面端直接下载,安装后按向导选择后端模型即可使用;生产环境可用 Docker 私有化部署。项目采用 MIT 协议开源,个人与商用均免费,官方另提供托管云版(可选订阅)。

相关阅读

© 版权声明

相关文章