LiveTalking 开源实时数字人引擎实测:文本语音驱动虚拟主播,直播带货客服一站搞定,1 万星

LiveTalking 项目页中文卡片

LiveTalking 介绍横幅

这是什么

LiveTalking 是一个开源的「实时交互流式数字人」引擎,在 GitHub 上有约 1 万颗星,已经在业内获得广泛商用。它解决的是一个很具体的问题:让一个虚拟数字人,像真人一样「实时开口说话」——你输入文字或语音,它先(可选地)用大模型生成回复,再用 TTS 合成语音,然后让数字人的嘴型、表情跟着语音实时同步,最后通过 WebRTC、RTMP 或虚拟摄像头把音视频流推出去。过去做数字人要么依赖昂贵的商业 SaaS、按分钟计费,要么只能用预录制视频「假直播」,不能实时互动;LiveTalking 把这套实时引擎开源出来,让直播带货、AI 客服、数字讲师这些场景有了一个免费、可自部署、可二次开发的底座,是国内数字人方向口碑很稳的开源项目之一。

核心能力

  • 实时音视频同步对话:文字或语音驱动数字人实时说话,口型、表情与语音同步,支持「说话被打断」后即时改口重说
  • 多种数字人模型:内置 ernerf、musetalk、wav2lip、Ultralight-Digital-Human 等多种模型,可按效果与算力自由选择
  • 声音克隆:可克隆指定音色给数字人配音,让数字人用「你的声音」或指定人设的声音说话
  • 多种推流输出:支持 WebRTC、RTMP、虚拟摄像头输出,直接对接抖音/视频号等直播平台,或作为虚拟摄像头供会议、录屏使用
  • 动作编排与自定义形象:不说话时自动播放自定义视频,支持全身视频拼接与自定义数字人形象
  • 前端 API 与多并发:提供前端 API 接口对接,支持多并发实例,方便把数字人能力集成进自己的产品或系统

适合谁

  • 做直播带货、想上「24 小时无人直播数字人」的商家与 MCN,用 LLM 自动生成带货话术
  • 需要 AI 数字人客服、接入企业知识库做实时语音问答的企业
  • 在线教育、培训场景,想做「教师数字分身」录制课程或实时授课的机构与个人
  • 开发者/团队:想基于开源数字人引擎二次开发自己的直播、短视频批量制作产品

获取方式

官网:https://www.livetalking.ai

项目地址:https://github.com/lipku/LiveTalking

项目以 Apache-2.0 协议开源、免费使用,官方在 Ubuntu 22.04 + Python 3.12 + PyTorch 2.9.1 + CUDA 12.8 环境测试通过(也支持 Windows/macOS,国内可走 Gitee、GitCode 镜像)。安装方式:`git clone` 源码后按 README 安装依赖、下载对应数字人模型权重,启动服务即可;数字人效果与实时性对显卡有一定要求(NVIDIA 显卡体验最佳),官方 B 站有 wav2lip、ernerf、musetalk 等效果演示视频可先看再决定部署。

相关阅读

© 版权声明

相关文章