Langfuse 开源 LLM 可观测平台实测:追踪、评测、优化 AI 应用全生命周期,3.7 万星

AI 编程工具2小时前更新 tang123
11 0

Langfuse 项目页中文卡片

Langfuse 介绍横幅

这是什么

Langfuse 是一个开源的 LLM(大语言模型)可观测与评测平台,由 Y Combinator W23 孵化的团队打造(现已并入 ClickHouse),在 GitHub 上积累了约 3.7 万颗星。它的定位很像「LLM 界的 Datadog」——当你的产品开始大量调用大模型(无论是 OpenAI、Claude,还是本地部署的 DeepSeek、Qwen),很快就会发现一个头疼的问题:模型到底被调用了多少次、花了多少钱、哪些回答的质量在悄悄变差、改了一版提示词之后效果到底变没变好,全是一团黑。Langfuse 就是来解决这个「黑盒」问题的,它用追踪、评测、监控三大能力,把 LLM 应用的运行情况完整摊开在你面前,让你从「凭感觉调模型」变成「看数据调模型」。

核心能力

  • 调用追踪(Tracing):为每一次 LLM 调用自动记录输入、输出、耗时、token 用量与成本,形成可下钻的完整调用链路,出问题时能逐条回溯到具体某一次请求
  • 评测(Evaluation):支持 LLM-as-a-judge、人工打分、自定义评测器等多种方式,批量跑评测集,量化模型或提示词改动前后的效果差异
  • 提示词管理:把提示词集中管理并做版本控制,改完可回滚,还能在 Playground 里边改边实时测试
  • 成本与质量监控:实时统计 token 消耗与费用,按模型、项目、用户维度拆解,超预算自动告警
  • 多框架 SDK:原生支持 LangChain、LlamaIndex、OpenAI、Anthropic 等主流框架,几行代码即可接入
  • 自托管:官方提供 Docker 一键部署,数据全部留在你自己的服务器,也有云服务版可选

适合谁

  • 正在用大模型做产品或内部工具的开发者,需要看清每次调用的成本与质量
  • 搭建了 RAG 或 Agent 应用、却苦于「模型回答变差但不知道从哪查起」的团队
  • 做提示词工程、需要对不同提示词效果做 A/B 对比的人
  • 对数据合规敏感、希望把 LLM 监控数据留在自己服务器上的企业

获取方式

官网:https://langfuse.com

项目地址:https://github.com/langfuse/langfuse

官网提供云服务(含免费额度与付费档)与完整文档;也可用 Docker Compose 一条命令自托管,核心功能 MIT 开源免费(另有企业版增值功能),数据完全自己掌控。

相关阅读

© 版权声明

相关文章