CosyVoice 开源语音合成与克隆实测:阿里通义出品,多语言自然 TTS 零样本复刻音色

CosyVoice 开源语音合成与克隆实测:阿里通义出品,多语言自然 TTS 零样本复刻音色 项目卡片

CosyVoice 开源语音合成与克隆实测:阿里通义出品,多语言自然 TTS 零样本复刻音色 介绍横幅

这是什么

CosyVoice 是阿里通义实验室 FunAudioLLM(即 QwenAudio)团队开源的多语言大语音生成模型,Python 编写、Apache-2.0 协议,GitHub 上约 2.4 万 Star。它是把「文本转语音」这件事做成「大模型」路线的代表——基于 LLM 做 TTS,不仅普通话、英语、日语、韩语、粤语等多语言都能自然合成,还能做「零样本音色克隆」:给它几秒到十几秒的参考录音,它就能复刻那个人的音色、语气,去念任意你给的文本。

项目已经迭代到第三代:CosyVoice 1.0(2024 年)→ 2.0(2024 年底,加入流式合成、跨语言更强)→ Fun-CosyVoice 3.0(2025 年,LLM 路线,内容一致性与说话人一致性大幅提升)。它是国内开源 TTS 里口碑和星数都排第一梯队的项目,做配音、有声书、数字人、短视频口播的人很多都在用它,也是不少商业语音产品背后的开源底座。

核心能力

  • 零样本音色克隆:3 到 10 秒参考音频即可复刻音色,无需训练、无需微调
  • 跨语言语音合成:用同一种音色讲多国语言,语种之间切换自然
  • 多语言支持:中文、英语、日语、韩语、粤语等,普通话尤其自然
  • 情感与语气控制:可用指令控制情绪、语速、停顿,做有表现力的配音
  • 细粒度控制:字幕级时间戳与韵律控制,适合精品长音频制作
  • 流式合成:边生成边播放、延迟低,适合实时交互场景
  • 全栈能力:推理、微调、部署一条龙,官方提供在线 Demo 与 API

适合谁

  • 做短视频口播、有声书、课程配音的内容创作者
  • 需要多语言产品介绍或客服语音的跨境电商卖家
  • 做数字人、虚拟主播、语音助手的技术团队
  • 研究语音合成、想用开源基线复现实验的学生和研究者

获取方式

官方在 Hugging Face、ModelScope 上提供在线 Demo,传一段参考音加一段文本即可试听效果,不用装环境。本地部署需要 Python 环境:clone 仓库、按 README 装依赖、下载 CosyVoice2-0.5B 等权重,再用 Python 脚本或 Gradio 界面跑。项目 Apache-2.0 开源免费,权重在 Hugging Face / ModelScope 免费下载;它属于研究向模型,没有一键安装包,适合愿意动手配环境、或直接玩在线 Demo 的用户。

官网:https://funaudiollm.github.io/cosyvoice3

项目地址:https://github.com/QwenAudio/CosyVoice

相关阅读

© 版权声明

相关文章