VibeVoice-1.5B 是微软开源的文本转语音（TTS）大模型，可一次性生成 90 分钟高保真、多人轮替的长篇语音，并达到 3200 倍超高音频压缩率。
1. 主要功能
1.1 超长连续合成：单次推理即可生成长达 90 分钟、无音色漂移、无语义断裂的连贯语音。
1.2 多说话人支持：最多同时支持 4 位不同说话人自然轮替，远超主流开源模型 2 人上限。
1.3 极致音频压缩：对 24 kHz 原始音频实现 3200 倍累计压缩，体积仅为传统 Encodec 模型的 1/80。
1.4 拟人化情感表达：可自动根据文本情境调整语调、节奏与情绪，输出更贴近真人播讲。
1.5 跨语言/唱歌合成：在英、中文基础上具备跨语言旁白与简单旋律生成功能。
2. 技术原理
2.1 双 Tokenizer 架构
- 声学 Tokenizer：基于 σ-VAE 的对称编解码结构，7 级改进 Transformer + 1D 深度可分离卷积，把 24 kHz 音频压缩到 7.5 Hz 潜在向量。
- 语义 Tokenizer：与声学编码器结构相同，但去除 VAE，确保文本-语音对齐，推理阶段仅保留编码器以提速 40%。
2.2 大语言模型：1.5 B 参数的 Qwen2.5 负责长序列建模与角色轮换逻辑，上下文长度经课程学习逐步扩展到 65 k tokens。
2.3 轻量扩散解码器：1.23 亿参数的扩散模块利用无分类器引导与 DPM-Solver，将潜在向量还原为高保真波形。
2.4 课程学习策略：训练时从 4 k tokens 逐步增至 65 k tokens，避免超长序列导致的训练崩溃。
3. 应用场景
3.1 有声书/播客：一次性生成长篇有声读物或多主播播客，节省大量人力录音与后期剪辑。
3.2 虚拟助手/客服：为智能客服、虚拟人提供多角色、带情感的长时间语音回复。
3.3 游戏与互动叙事：为 NPC 或剧情旁白提供多角色、连续对白，提升沉浸感。
3.4 在线教育：自动生成带背景音乐、多语言切换的长课程讲解。
3.5 无障碍辅助：为视障用户快速生成高自然度、多说话人的长文本朗读。
4. 使用方法
4.1 获取模型：
- Hugging Face：huggingface.co/microsoft/VibeVoice-1.5B
- GitHub：github.com/microsoft/VibeVoice
4.2 在线体验：访问 aka.ms/VibeVoice-Demo，无需安装即可试听示例并输入自定义文本。
4.3 本地部署：
- 环境：Python≥3.9、PyTorch≥2.1、7 GB 显存即可推理多说话人语音（RTX 3060 级别）。
- 典型流程：
1. git clone 仓库并安装依赖；
2. 下载预训练权重；
3. 运行 inference.py 输入脚本与说话人标识，生成.wav 文件。
4.4 二次开发：MIT 许可证允许商业修改，可替换 tokenizer、微调音色或扩展语言。
5. 适用人群
5.1 内容创作者：有声书作者、播客主、视频解说。
5.2 开发者：希望快速集成高质量 TTS 的 App、游戏、教育软件团队。
5.3 研究人员：从事语音合成、多模态大模型、压缩算法研究的学者。
5.4 企业与机构：需要批量生成客服语音、培训材料的在线教育、客服中心。
6. 优缺点介绍
6.1 优点
- 超长、高保真：90 分钟连贯输出无断裂，刷新行业时长纪录。
- 多人自然交互：4 人轮替、音色稳定，减少后期人工拼接。
- 极致压缩：3200 倍压缩显著降低存储与带宽成本。
- 开源商用友好：MIT 许可证 + 完整文档，商业集成门槛低。
6.2 缺点
- 语言受限：目前仅针对英、中文训练，其他语言效果不可控。
- 不支持重叠语音：只能顺序轮替，无法模拟多人同时说话场景。
- 实时性不足：1.5 B 规模模型推理延迟较高，暂不适用于直播互动。
- 伦理风险：易被滥用于深度伪造，微软要求明确标注 AI 生成并禁止冒充他人。
分类标签
文本转语音、语音合成、开源模型、超长音频、多说话人、音频压缩、人工智能、AIGC