SongGeneration 是腾讯 AI Lab 推出的开源音乐生成大模型，旨在解决音乐生成领域中的音质、音乐性与生成速度等关键问题，同时支持文本控制、多轨合成与风格跟随等功能。
一、主要功能
-
文本控制：用户输入关键词文本（如“开心 流行”“激烈 摇滚”），即可生成符合特定风格和情绪的完整音乐作品。
-
风格跟随：用户上传10秒以上的参考音频，模型会生成风格一致的全长新曲，涵盖流行、摇滚、中国风等多种流派。
-
多轨生成：自动生成分离的人声与伴奏轨道，同时保证旋律、结构、节奏与配器的高度匹配。
-
音色跟随：基于参考音频的音色跟随功能，生成歌曲具备“音色克隆”级别的人声表现，听感自然且情感表现力卓越。
二、技术原理
-
LeLM（Language Model）：通过混合标记和双轨标记分别捕捉歌曲的整体结构和细节，避免不同标记类型之间的干扰，提高生成质量和效率。
-
音乐编解码器（Music Codec）：编码器将音乐音频提取为混合标记和双轨标记，解码器将双轨标记重建为高保真的音乐音频。
-
多偏好对齐（Multi-Preference Alignment）：通过直接偏好优化（DPO）处理多样化的人类偏好，提升模型在音乐性、指令遵循和人声与伴奏和谐方面的表现。
-
三阶段训练范式：包括预训练、模块扩展训练和多偏好对齐训练，优化音乐生成效果。
三、应用场景
SongGeneration 广泛应用于短视频配乐、游戏音效、虚拟人演出、商业广告及个人音乐创作等场景，推动 AI 音乐创作从“辅助工具”迈向“智能共创”的新阶段。
四、使用方法
-
访问 SongGeneration 的 GitHub 仓库，获取模型的代码和预训练权重。
-
按照项目文档配置开发环境，包括安装必要的依赖库和框架。
-
加载预训练模型或根据需求进行微调。
-
通过文本、音频或 MIDI 文件等方式输入生成指令。
-
运行模型生成音乐作品，并根据需要进行后处理和优化。
五、适用人群
SongGeneration 适用于音乐创作者、内容创作平台、游戏开发者、广告制作人员以及对音乐创作感兴趣的个人用户。
六、优缺点介绍
优点
-
音质卓越：生成歌曲的音质在多个维度上优于多数开源模型，部分指标媲美商业闭源模型。
-
功能丰富：支持文本控制、多轨合成、风格跟随和音色跟随等多种功能。
-
开源友好：推出面向开源社区的友好版本，便于开发者进行二次开发和优化。
缺点
-
数据依赖：模型性能高度依赖于训练数据的质量和多样性，对于小众或特定风格的音乐生成可能存在局限性。
-
计算资源：尽管模型在生成速度上有所提升，但仍需要较高的计算资源进行训练和推理。
-
创意边界：虽然模型能够生成高质量的音乐，但在创意和原创性方面仍难以完全替代人类音乐人。
分类标签
音乐创作工具、人工智能、开源模型、内容生成
FIFO-Diffusion是一种基于预训练扩散模型的新型推理技术，用于无需训练即可从文本生成无限长的视频。