

这是什么
LiveTalking 是一个开源的「实时交互流式数字人」引擎,在 GitHub 上有约 1 万颗星,已经在业内获得广泛商用。它解决的是一个很具体的问题:让一个虚拟数字人,像真人一样「实时开口说话」——你输入文字或语音,它先(可选地)用大模型生成回复,再用 TTS 合成语音,然后让数字人的嘴型、表情跟着语音实时同步,最后通过 WebRTC、RTMP 或虚拟摄像头把音视频流推出去。过去做数字人要么依赖昂贵的商业 SaaS、按分钟计费,要么只能用预录制视频「假直播」,不能实时互动;LiveTalking 把这套实时引擎开源出来,让直播带货、AI 客服、数字讲师这些场景有了一个免费、可自部署、可二次开发的底座,是国内数字人方向口碑很稳的开源项目之一。
核心能力
- 实时音视频同步对话:文字或语音驱动数字人实时说话,口型、表情与语音同步,支持「说话被打断」后即时改口重说
- 多种数字人模型:内置 ernerf、musetalk、wav2lip、Ultralight-Digital-Human 等多种模型,可按效果与算力自由选择
- 声音克隆:可克隆指定音色给数字人配音,让数字人用「你的声音」或指定人设的声音说话
- 多种推流输出:支持 WebRTC、RTMP、虚拟摄像头输出,直接对接抖音/视频号等直播平台,或作为虚拟摄像头供会议、录屏使用
- 动作编排与自定义形象:不说话时自动播放自定义视频,支持全身视频拼接与自定义数字人形象
- 前端 API 与多并发:提供前端 API 接口对接,支持多并发实例,方便把数字人能力集成进自己的产品或系统
适合谁
- 做直播带货、想上「24 小时无人直播数字人」的商家与 MCN,用 LLM 自动生成带货话术
- 需要 AI 数字人客服、接入企业知识库做实时语音问答的企业
- 在线教育、培训场景,想做「教师数字分身」录制课程或实时授课的机构与个人
- 开发者/团队:想基于开源数字人引擎二次开发自己的直播、短视频批量制作产品
获取方式
项目地址:https://github.com/lipku/LiveTalking
项目以 Apache-2.0 协议开源、免费使用,官方在 Ubuntu 22.04 + Python 3.12 + PyTorch 2.9.1 + CUDA 12.8 环境测试通过(也支持 Windows/macOS,国内可走 Gitee、GitCode 镜像)。安装方式:`git clone` 源码后按 README 安装依赖、下载对应数字人模型权重,启动服务即可;数字人效果与实时性对显卡有一定要求(NVIDIA 显卡体验最佳),官方 B 站有 wav2lip、ernerf、musetalk 等效果演示视频可先看再决定部署。
相关阅读
© 版权声明
文章版权归作者所有,未经允许请勿转载。