这是什么
F5-TTS 是一款开源零样本语音克隆(Voice Cloning)模型,GitHub 上约 1.6 万星、2.3 千 fork,Python 编写、MIT 协议开源,由上海交通大学 X-LANCE 实验室联合 SII、鹏城实验室(PCL)出品,论文发布于 arXiv(2410.06885)。它最大的卖点是「零样本复刻」:只要给它一段 10 秒左右的参考音频,它就能模仿这个人的音色、语气,把任意文本读出来,支持中英文等多语言,还支持多风格、多说话人切换。底层用 Diffusion Transformer + ConvNeXt V2 架构配合流匹配(Flow Matching),训练和推理都比上一代快,生成语音更自然流畅。它提供了配套的 E2 TTS 模型和 Sway Sampling 采样策略,是中文圈做配音、有声内容的开源利器。
核心能力
- 10 秒零样本语音克隆:一段极短参考音频即可复刻任意人的音色,无需针对目标音色做任何训练或微调。
- 中英文多语言:以 Emilia 中英数据集训练,中英文语音自然流畅,适合国内配音场景。
- 多风格 / 多说话人:可在不同音色、不同说话风格之间自由切换,批量生成不同人设的声音。
- 流匹配 Diffusion Transformer:ConvNeXt V2 + 流匹配,比传统自回归 TTS 训练和推理更快、效果更稳。
- 语音对话能力:Gradio 应用内置由 Qwen2.5-3B 驱动的语音对话模式,可与克隆音色实时聊天。
- 跨硬件部署:支持 NVIDIA、AMD、Intel GPU 与 Apple Silicon,pip 安装、Docker、Gradio 界面多种方式任选。
适合谁
- 做短视频配音、有声书、电台节目,想用自己声音批量出内容的创作者。
- 想给视频、数字人、虚拟主播配固定音色、又不想依赖收费云 TTS 的团队。
- 希望数据本地处理、不想把声音样本上传到第三方平台的人。
- 研究 TTS、语音合成、语音克隆方向的研究人员和开发者。
获取方式
官方演示页 swivid.github.io/F5-TTS 可在线试听样例;国内用户也可到魔搭 ModelScope 的 E2-F5-TTS 在线体验空间试用。本地部署:pip install f5-tts 即可推理,或用 Docker 一条命令拉起 Gradio 界面(NVIDIA GPU 效果最佳,Apple Silicon 也可跑)。MIT 协议完全免费开源,权重在 Hugging Face / ModelScope 可下载,论文见 arXiv 2410.06885。
官网:https://swivid.github.io/F5-TTS/
项目地址:https://github.com/SWivid/F5-TTS
相关阅读
© 版权声明
文章版权归作者所有,未经允许请勿转载。