📋 编辑总结
一张消费级显卡写完整首歌。M-A-P 开源的歌词成歌模型:输入风格描述与歌词,先写出可编辑的旋律与和弦乐谱(ABC 记谱),再渲染 48kHz 立体声成品。官方基准 WildSongBench 上八选一平均分 6.9632,高于 Suno v5 的 6.8721;3B 参数、24GB 显存可跑,RTX 4090 上 71 秒产出 3.6 分钟歌曲。 定价:免费开源(权重 CC BY-NC 4.0 非商用;代码 Apache-2.0)。编辑评分:⭐ 4.5。

YuE2-3B 是什么?

YuE2-3B 是 M-A-P(Multimodal Art Projection,多模态艺术投影团队)开源的歌词成歌模型,3B 参数。给它一段结构化歌词加一句风格提示,它会产出带人声与伴奏的完整歌曲——48kHz 立体声。官方对本地部署的一句话概括是:在一张 24GB 显卡上跑出 48kHz 立体声歌曲,且不需要量化。

它与「文字进、音频出」的同类模型最关键的差别,是中间多了一层可编辑的乐谱。官方表述是:先把歌词与风格变成完整歌曲,再通过可编辑的乐谱去塑造旋律与和弦。乐谱用 ABC 记谱(纯文本表示音符、时值与和声),因此可读、可改,也可以直接把你自己的 ABC 乐谱喂进去渲染。音乐生成第一次有了「草稿」这种形态。

在团队自建的 WildSongBench(192 条提示、7 个维度)上,YuE2 八次生成择优的平均分为 6.9632,高于 Suno v5 的 6.8721、Suno v6 的 6.5562 与 Mureka 9 的 6.9377,是官方评测里开放与闭源模型中最高的一档。但要如实看待:单次生成是 6.7316,仍低于 Suno v5 与 Mureka 9——质量优势建立在更多采样算力之上。

核心功能

  • 歌词成歌:风格提示加结构化歌词生成完整歌曲,人声与伴奏一体,48kHz 立体声。
  • 可编辑乐谱层:旋律与和弦以 ABC 记谱给出,可在渲染前修改,也可自带乐谱直接生成。
  • AR/NAR 双阶段架构:自回归串行生成有序 token,非自回归并行预测可并列的元素,再由 VAE 渲染成音频;官方 HF 包为 BF16 AR/NAR 加 FP32 VAE,配 PyTorch、CUDA graphs 与 FlashAttention。
  • 零样本翻唱:以既有歌曲的旋律为条件换风格换词重唱;SHS100K 上 CLEWS mAP 0.647、Hit@1 71.3%。
  • Agent 迭代改稿:官方把「把音乐反馈转成乐谱、风格与歌词的修订」做成能力,可跨渲染轮次持续打磨。
  • 本地高效推理:RTX 4090 上 71.04 秒生成 214.85 秒(约 3.6 分钟)音频,峰值显存 11.18 GiB。

版本与许可

YuE2 是 M-A-P 音乐模型家族的第二代,代码仓库为 multimodal-art-projection/YuE(GitHub 实测约 1.3 万星,Apache-2.0)。许可要拆开看:权重是 CC BY-NC 4.0,明确非商用,产出歌曲用于商业发布同样受限;代码是 Apache-2.0,工程集成不受此限。官方另附第三方代码许可清单。

硬件门槛按官方说明:Linux、Python 3.10+、支持 BF16 的 24GB NVIDIA GPU,另需 24GB 可用主机内存;最大上下文测试峰值 14.08 GiB。相比多卡的大型音频模型已算亲民,但距离消费级入门卡仍有一段距离。

值不值得用?

值得投入的场景:对可控性有要求的创作——能改乐谱意味着旋律主权在自己手里,这是黑盒云服务给不了的;研究歌词成歌与符号-音频联合建模的团队,代码与架构是现成底座;本地与离线创作环境,一次部署不依赖外部服务。

需要冷静的地方:最佳质量依赖八次采样择优,时间与算力要计入流程;单次生成与头部闭源仍有差距,追平靠算力而非魔法;24GB 显存加 24GB 内存的门槛把入门用户挡在外面;非商用许可决定它现阶段更适合创作实验与研究,而非直接变现。

使用建议

  • 先用短歌词小样试风格,锁定方向后再上完整歌词,减少全曲采样的浪费。
  • 把乐谱层用起来:生成后检查 ABC 记谱,手动修掉别扭的旋律走向,比反复换提示词更高效。
  • 追求质量时用八选一策略,把候选都导出来对比挑选。
  • 官方产物保存接口会一并导出 ABC、tokens、latents、音频与设置,便于复盘与再渲染。

适合谁用?

推荐:想掌控旋律与和声细节的独立音乐人与编曲;研究音乐生成与符号音乐的算法团队;需要本地离线生成能力的创作者。

可考虑:内容创作者用它做小样与灵感草稿,再进专业工具精修。

不推荐:需要直接商用成品的团队(许可不允许);只有入门级显卡的轻度玩家;期望「一句话出成品、零调参」的用户。