VideoReTalking 开源口型同步工具：给视频换配音自动对口型实测

项目地址：https://github.com/OpenTalker/video-retalking

这是什么

VideoReTalking 是一款开源的”视频对口型”工具，来自腾讯 AI Lab 等团队的 SIGGRAPH Asia 2022 研究成果。它的作用很直接：给一段人物说话的视频，再给它一段全新的音频，它会自动改写视频里人物的嘴型，让口型和新音频完全同步。做外语版本视频、给视频换配音、修正口播口误，都用得上。

核心能力

• 音频驱动口型：输入新音频后自动重绘嘴部动作，做到口型与语音精准对齐。
• 保留原始画面质感：只改嘴部区域，人物的表情、头部姿态、光影和背景基本不变，成片自然。
• 适配真实场景素材：专门针对”野外拍摄”的真实视频优化，不是只能处理影棚级别的干净素材。
• 支持任意语言音频：中文、英文、日文等各种语音都能驱动，是做多语言视频版本的实用工具。
• 开源可研究：论文、代码、模型权重公开，适合做二次开发和学术研究。

适合谁

• 想把一条视频做成多语言版本的出海内容团队；
• 需要给视频换配音、修正口误的短视频创作者；
• 影视后期、广告制作从业者；
• 研究音频驱动人脸动画的技术人员。

获取方式

项目主页 opentalker.github.io/video-retalking 有演示和论文说明；代码托管在 GitHub（OpenTalker/video-retalking），本地运行需要 Python 环境和 GPU 支持。