Yue S1 0.5B

🚀 乐（YuE）音乐生成模型

乐（YuE）是一系列开创性的开源基础模型，专为音乐生成而设计，能将歌词转化为完整歌曲。它可生成包含动听人声和伴奏的完整歌曲，还能处理多种音乐风格、语言和演唱技巧。

演示 🎶  |  📑 论文
YuE-s1-7B-anneal-en-cot 🤗  |  YuE-s1-7B-anneal-en-icl 🤗  |  YuE-s1-7B-anneal-jp-kr-cot 🤗
YuE-s1-7B-anneal-jp-kr-icl 🤗  |  YuE-s1-7B-anneal-zh-cot 🤗  |  YuE-s1-7B-anneal-zh-icl 🤗
YuE-s2-1B-general 🤗  |  YuE-upsampler 🤗

我们的模型名为乐（YuE）。在中文里，“乐”有“音乐”和“快乐”的意思。可能有人觉得以“Yu”开头的词发音有困难，那也可以叫它“yeah”。我们还用模型的名字创作了一首歌。

乐（YuE）是一系列开创性的开源基础模型，专为音乐生成而设计，尤其擅长将歌词转化为完整歌曲（歌词转歌曲）。它能生成持续数分钟的完整歌曲，包含动听的人声和伴奏。乐（YuE）能够处理多种音乐风格、语言和演唱技巧。请访问 演示页面，感受惊人的演唱效果。

流行音乐：《宁静的夜晚》 金属音乐：《退后》

✨ 主要特性

乐（YuE）模型具有以下显著特性：

• 多风格支持：能够处理流行、金属等多种音乐风格。
• 多语言适配：可处理不同语言的歌词。
• 完整歌曲生成：能生成包含人声和伴奏的完整歌曲。

🚀 快速开始

⚠️ 重要提示

这是我们早期实验的一个检查点，基于500B标记的数据进行训练。它不支持在歌词中添加结构标签和音色标签，仅支持少数音乐风格的固定标签。不建议用于音乐创作，因为效果可能不太理想。我们应社区要求发布此版本用于研究目的。

请查看我们的 GitHub仓库 以快速开始使用。

📄 许可证

• 乐（YuE）模型（包括其权重）采用 Apache 2.0 许可证 发布。我们不会从该模型获利，希望它能促进人类创造力的发展。
• 使用与归属：
  • 我们鼓励艺术家和内容创作者将模型生成的输出用于自己的作品，包括商业项目。
  • 特别是在公开和商业使用时，建议注明模型名称：乐（YuE） by HKUST/M - A - P（按字母顺序）。
• 原创性与抄袭：创作者有责任确保基于乐（YuE）输出创作的作品不抄袭或非法复制现有材料。我们强烈建议用户自行进行尽职调查，避免版权侵权或其他法律问题。
• 推荐标注：将作品上传到流媒体平台或公开分享时，我们 建议 标注“AI生成”、“乐（YuE）生成”、“AI辅助”或“AI助力”等字样，以保持创作过程的透明度。
• 免责声明：
  • 我们不对该模型的不当使用负责，包括（但不限于）非法、恶意或不道德的活动。
  • 用户对使用乐（YuE）模型生成的内容及其使用后果承担全部责任。
  • 使用该模型即表示您理解并遵守所有适用的法律法规。

📚 详细文档

新闻与更新

• 📌 加入我们的 Discord 社区！
• 2025.03.12 🔥 论文发布🎉：我们发布了 乐（YuE）技术报告！报告中讨论了所有技术细节、研究发现和经验教训。欢迎阅读并引用我们的论文~
• 2025.03.11 🫶 现在乐（YuE）支持增量歌曲生成！详情见 joeljuvel 的 YuE - UI。YuE - UI 是一个基于 Gradio 的界面，支持批量生成、输出选择和续作。您可以灵活试验音频提示和不同的模型设置，在交互式时间轴上可视化进度，撤销操作，在进行细化之前快速预览第一阶段的音频输出，并完全保存/加载会话（JSON 格式）。使用量化模型，即使在只有 8GB VRAM 的 GPU 上也能流畅运行。
• 2025.02.17 🫶 现在乐（YuE）支持音乐续作和 Google Colab！详情见 Mozer 的 YuE - extend。
• 2025.02.07 🎉 可在 pinokio 上获取适用于 Windows 的乐（YuE）。
• 2025.01.30 🔥 推理更新：我们现在支持双轨 ICL 模式！您可以用参考歌曲提示模型，它将生成类似风格的新歌曲（语音克隆 @abrakjamson 的演示，音乐风格转换 @cocktailpeanut 的演示 等）。快来试试！🔥🔥🔥 注意：一定要先查看演示，真的很惊艳。
• 2025.01.30 🔥 公告：Apache 2.0 许可的新时代 🔥：我们很高兴地宣布，应社区强烈要求，乐（YuE） 现在正式采用 Apache 2.0 许可证。我们真诚希望这能成为音乐生成和创意 AI 领域的一个分水岭，就像 Stable Diffusion 和 LLaMA 在各自领域所取得的成就一样。🎉🎉🎉
• 2025.01.29 🎉：我们更新了许可证说明。我们 鼓励 艺术家和内容创作者采样并将模型生成的输出融入自己的作品，甚至进行商业化。唯一的要求是注明我们的名称：乐（YuE） by HKUST/M - A - P（按字母顺序）。
• 2025.01.28 🫶：感谢 Fahd 制作了如何快速上手乐（YuE）的教程。这是他的 演示视频。
• 2025.01.26 🔥：我们发布了 乐（YuE） 系列模型。

🙏 致谢

本项目由香港科技大学（HKUST）和 M - A - P 联合牵头（按字母顺序）。同时感谢 moonshot.ai、字节跳动（bytedance）、01.ai 和吉利（geely）对项目的支持。

这里有香港科技大学音频小组的 Hugging Face 空间 的友好链接。

我们衷心感谢一路走来得到的所有支持。开源 AI 万岁！

📖 引用

如果您觉得我们的论文和代码对您的研究有帮助，请考虑给个星 :star: 并引用 :pencil: :)

@misc{yuan2025yuescalingopenfoundation,
      title={YuE: Scaling Open Foundation Models for Long-Form Music Generation}, 
      author={Ruibin Yuan and Hanfeng Lin and Shuyue Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Yiming Liang and Wenye Ma and Xingjian Du and Xinrun Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Shangda Wu and Tianhao Shen and Ziyang Ma and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Junjie Wang and Jianwei Yu and Guojian Pang and Xu Li and Zihao Wang and Xiaohuan Zhou and Lijun Yu and Emmanouil Benetos and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Wenhao Huang and Wei Xue and Xu Tan and Yike Guo},
      year={2025},
      eprint={2503.08638},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2503.08638}, 
}

@misc{yuan2025yue,
  title={YuE: Open Music Foundation Models for Full-Song Generation},
  author={Ruibin Yuan and Hanfeng Lin and Shawn Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Xingjian Du and Xeron Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Lijun Yu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Tianhao Shen and Ziyang Ma and Shangda Wu and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaohuan Zhou and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Yiming Liang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Stephen Huang and Wei Xue and Xu Tan and Yike Guo}, 
  howpublished={\url{https://github.com/multimodal-art-projection/YuE}},
  year={2025},
  note={GitHub repository}
}