Yue S1 7B Anneal Jp Kr Icl

🚀 乐（YuE）模型

乐（YuE）是一系列开创性的开源基础模型，专为音乐生成而设计，能够将歌词转化为完整的歌曲（歌词转歌曲）。它可以生成包含动听人声和伴奏的完整歌曲，时长可达数分钟，并且能够处理多种音乐风格、语言和演唱技巧。

演示 🎶  |  📑 论文
YuE-s1-7B-anneal-en-cot 🤗  |  YuE-s1-7B-anneal-en-icl 🤗  |  YuE-s1-7B-anneal-jp-kr-cot 🤗
YuE-s1-7B-anneal-jp-kr-icl 🤗  |  YuE-s1-7B-anneal-zh-cot 🤗  |  YuE-s1-7B-anneal-zh-icl 🤗
YuE-s2-1B-general 🤗  |  YuE-upsampler 🤗

我们的模型名为乐（YuE），在中文里，“乐”有“音乐”和“快乐”的意思。如果你觉得以“Yu”开头的词发音困难，也可以叫它“yeah”。我们还用模型的名字创作了一首歌。

乐（YuE）能够生成一首完整的、长达数分钟的歌曲，其中包括朗朗上口的人声轨道和伴奏轨道。它能够对多种音乐风格、语言和演唱技巧进行建模。请访问演示页面，欣赏精彩的人声表演。

流行音乐：《宁静的夜晚》 金属音乐：《退后》

✨ 主要特性

• 多语言支持：支持英语、日语和韩语等多种语言。
• 多风格建模：能够处理流行、金属等多种音乐风格。
• 生成完整歌曲：可以将歌词转化为包含人声和伴奏的完整歌曲。

🚀 快速开始

请查看我们的 GitHub 仓库，以便轻松快速上手。

📄 许可证

许可证协议与免责声明

• 乐（YuE）模型（包括其权重）现在根据Apache许可证2.0版发布。我们不会从该模型中获利，希望它能促进人类创造力的提升。
• 使用与归属：
  • 我们鼓励艺术家和内容创作者将乐（YuE）生成的输出自由地融入他们自己的作品中，包括商业项目。
  • 我们鼓励在公开和商业使用中注明模型的名称（“YuE by HKUST/M - A - P”）。
• 原创性与抄袭：创作者有责任确保他们基于乐（YuE）输出创作或受其启发的作品不会抄袭或非法复制现有材料。我们强烈建议用户自行进行尽职调查，以避免版权侵权或其他法律违规行为。
• 推荐标注：当将作品上传到流媒体平台或公开发布时，我们建议使用“AI生成”、“YuE生成”、“AI辅助”或“AI协助”等术语进行标注，以保持创作过程的透明度。
• 免责声明：
  • 我们不对该模型的不当使用承担任何责任，包括（但不限于）非法、恶意或不道德的活动。
  • 用户对使用乐（YuE）模型生成的任何内容以及使用该模型所产生的任何后果承担全部责任。
  • 通过使用该模型，您同意理解并遵守所有适用的法律法规。

📚 详细文档

新闻与更新

• 📌 加入我们的 Discord 社区！
• 2025.03.12 🔥 论文发布🎉：我们现在发布了 乐（YuE）技术报告！我们讨论了所有的技术细节、研究结果和经验教训。欢迎阅读，并随时引用我们的论文~
• 2025.03.11 🫶 现在乐（YuE）支持增量歌曲生成！请查看 joeljuvel 开发的 YuE - UI。YuE - UI 是一个基于 Gradio 的界面，支持批量生成、输出选择和续作。您可以灵活地尝试音频提示和不同的模型设置，在交互式时间轴上可视化您的进度，撤销操作，在进行细化之前快速预览第一阶段的音频输出，并完全保存/加载您的会话（JSON 格式）。使用量化模型，即使在只有 8GB VRAM 的 GPU 上也能流畅运行。
• 2025.02.17 🫶 现在乐（YuE）支持音乐续作和 Google Colab！请查看 Mozer 开发的 YuE - extend。
• 2025.02.07 🎉 在 pinokio 上获取适用于 Windows 的乐（YuE）。
• 2025.01.30 🔥 推理更新：我们现在支持双轨 ICL 模式！您可以用一首参考歌曲提示模型，它将生成一首类似风格的新歌（@abrakjamson 的语音克隆演示，@cocktailpeanut 的音乐风格转换演示 等）。快来试试吧！🔥🔥🔥 另外，请先查看演示，真的很精彩。
• 2025.01.30 🔥 公告：Apache 2.0 许可的新时代 🔥：我们很高兴地宣布，应社区的强烈要求，乐（YuE） 现在正式根据Apache 2.0许可发布。我们衷心希望这将成为音乐生成和创意 AI 的一个分水岭时刻，就像 Stable Diffusion 和 LLaMA 在各自领域所取得的成就一样。🎉🎉🎉
• 2025.01.29 🎉：我们更新了许可说明。我们鼓励艺术家和内容创作者采样并将我们模型生成的输出融入他们自己的作品中，甚至进行商业化。唯一的要求是注明我们的名称：YuE by HKUST/M - A - P（按字母顺序）。
• 2025.01.28 🫶：感谢 Fahd 制作了关于如何快速上手乐（YuE）的教程。这是他的 演示视频。
• 2025.01.26 🔥：我们发布了乐（YuE） 系列模型。

📖 引用

如果您觉得我们的论文和代码对您的研究有帮助，请考虑给我们点个星 :star: 并引用我们的论文 :pencil: :)

@misc{yuan2025yuescalingopenfoundation,
      title={YuE: Scaling Open Foundation Models for Long-Form Music Generation}, 
      author={Ruibin Yuan and Hanfeng Lin and Shuyue Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Yiming Liang and Wenye Ma and Xingjian Du and Xinrun Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Shangda Wu and Tianhao Shen and Ziyang Ma and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Junjie Wang and Jianwei Yu and Guojian Pang and Xu Li and Zihao Wang and Xiaohuan Zhou and Lijun Yu and Emmanouil Benetos and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Wenhao Huang and Wei Xue and Xu Tan and Yike Guo},
      year={2025},
      eprint={2503.08638},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2503.08638}, 
}

@misc{yuan2025yue,
  title={YuE: Open Music Foundation Models for Full-Song Generation},
  author={Ruibin Yuan and Hanfeng Lin and Shawn Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Xingjian Du and Xeron Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Lijun Yu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Tianhao Shen and Ziyang Ma and Shangda Wu and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaohuan Zhou and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Yiming Liang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Stephen Huang and Wei Xue and Xu Tan and Yike Guo}, 
  howpublished={\url{https://github.com/multimodal-art-projection/YuE}},
  year={2025},
  note={GitHub repository}
}

🙏 致谢

本项目由香港科技大学（HKUST）和 M - A - P 共同牵头（按字母顺序）。同时感谢 moonshot.ai、字节跳动、01.ai 和吉利对本项目的支持。

友情链接：香港科技大学音频小组的 Hugging Face 空间。

我们衷心感谢一路走来所获得的所有支持。开源 AI 万岁！