Yue S1 0.5B

🚀 樂（YuE）音樂生成模型

樂（YuE）是一系列開創性的開源基礎模型，專為音樂生成而設計，能將歌詞轉化為完整歌曲。它可生成包含動聽人聲和伴奏的完整歌曲，還能處理多種音樂風格、語言和演唱技巧。

演示 🎶  |  📑 論文
YuE-s1-7B-anneal-en-cot 🤗  |  YuE-s1-7B-anneal-en-icl 🤗  |  YuE-s1-7B-anneal-jp-kr-cot 🤗
YuE-s1-7B-anneal-jp-kr-icl 🤗  |  YuE-s1-7B-anneal-zh-cot 🤗  |  YuE-s1-7B-anneal-zh-icl 🤗
YuE-s2-1B-general 🤗  |  YuE-upsampler 🤗

我們的模型名為樂（YuE）。在中文裡，“樂”有“音樂”和“快樂”的意思。可能有人覺得以“Yu”開頭的詞發音有困難，那也可以叫它“yeah”。我們還用模型的名字創作了一首歌。

樂（YuE）是一系列開創性的開源基礎模型，專為音樂生成而設計，尤其擅長將歌詞轉化為完整歌曲（歌詞轉歌曲）。它能生成持續數分鐘的完整歌曲，包含動聽的人聲和伴奏。樂（YuE）能夠處理多種音樂風格、語言和演唱技巧。請訪問 演示頁面，感受驚人的演唱效果。

流行音樂：《寧靜的夜晚》 金屬音樂：《退後》

✨ 主要特性

樂（YuE）模型具有以下顯著特性：

• 多風格支持：能夠處理流行、金屬等多種音樂風格。
• 多語言適配：可處理不同語言的歌詞。
• 完整歌曲生成：能生成包含人聲和伴奏的完整歌曲。

🚀 快速開始

⚠️ 重要提示

這是我們早期實驗的一個檢查點，基於500B標記的數據進行訓練。它不支持在歌詞中添加結構標籤和音色標籤，僅支持少數音樂風格的固定標籤。不建議用於音樂創作，因為效果可能不太理想。我們應社區要求發佈此版本用於研究目的。

請查看我們的 GitHub倉庫 以快速開始使用。

📄 許可證

• 樂（YuE）模型（包括其權重）採用 Apache 2.0 許可證 發佈。我們不會從該模型獲利，希望它能促進人類創造力的發展。
• 使用與歸屬：
  • 我們鼓勵藝術家和內容創作者將模型生成的輸出用於自己的作品，包括商業項目。
  • 特別是在公開和商業使用時，建議註明模型名稱：樂（YuE） by HKUST/M - A - P（按字母順序）。
• 原創性與抄襲：創作者有責任確保基於樂（YuE）輸出創作的作品不抄襲或非法複製現有材料。我們強烈建議用戶自行進行盡職調查，避免版權侵權或其他法律問題。
• 推薦標註：將作品上傳到流媒體平臺或公開分享時，我們 建議 標註“AI生成”、“樂（YuE）生成”、“AI輔助”或“AI助力”等字樣，以保持創作過程的透明度。
• 免責聲明：
  • 我們不對該模型的不當使用負責，包括（但不限於）非法、惡意或不道德的活動。
  • 用戶對使用樂（YuE）模型生成的內容及其使用後果承擔全部責任。
  • 使用該模型即表示您理解並遵守所有適用的法律法規。

📚 詳細文檔

新聞與更新

• 📌 加入我們的 Discord 社區！
• 2025.03.12 🔥 論文發佈🎉：我們發佈了 樂（YuE）技術報告！報告中討論了所有技術細節、研究發現和經驗教訓。歡迎閱讀並引用我們的論文~
• 2025.03.11 🫶 現在樂（YuE）支持增量歌曲生成！詳情見 joeljuvel 的 YuE - UI。YuE - UI 是一個基於 Gradio 的界面，支持批量生成、輸出選擇和續作。您可以靈活試驗音頻提示和不同的模型設置，在交互式時間軸上可視化進度，撤銷操作，在進行細化之前快速預覽第一階段的音頻輸出，並完全保存/加載會話（JSON 格式）。使用量化模型，即使在只有 8GB VRAM 的 GPU 上也能流暢運行。
• 2025.02.17 🫶 現在樂（YuE）支持音樂續作和 Google Colab！詳情見 Mozer 的 YuE - extend。
• 2025.02.07 🎉 可在 pinokio 上獲取適用於 Windows 的樂（YuE）。
• 2025.01.30 🔥 推理更新：我們現在支持雙軌 ICL 模式！您可以用參考歌曲提示模型，它將生成類似風格的新歌曲（語音克隆 @abrakjamson 的演示，音樂風格轉換 @cocktailpeanut 的演示 等）。快來試試！🔥🔥🔥 注意：一定要先查看演示，真的很驚豔。
• 2025.01.30 🔥 公告：Apache 2.0 許可的新時代 🔥：我們很高興地宣佈，應社區強烈要求，樂（YuE） 現在正式採用 Apache 2.0 許可證。我們真誠希望這能成為音樂生成和創意 AI 領域的一個分水嶺，就像 Stable Diffusion 和 LLaMA 在各自領域所取得的成就一樣。🎉🎉🎉
• 2025.01.29 🎉：我們更新了許可證說明。我們 鼓勵 藝術家和內容創作者採樣並將模型生成的輸出融入自己的作品，甚至進行商業化。唯一的要求是註明我們的名稱：樂（YuE） by HKUST/M - A - P（按字母順序）。
• 2025.01.28 🫶：感謝 Fahd 製作瞭如何快速上手樂（YuE）的教程。這是他的 演示視頻。
• 2025.01.26 🔥：我們發佈了 樂（YuE） 系列模型。

🙏 致謝

本項目由香港科技大學（HKUST）和 M - A - P 聯合牽頭（按字母順序）。同時感謝 moonshot.ai、字節跳動（bytedance）、01.ai 和吉利（geely）對項目的支持。

這裡有香港科技大學音頻小組的 Hugging Face 空間 的友好鏈接。

我們衷心感謝一路走來得到的所有支持。開源 AI 萬歲！

📖 引用

如果您覺得我們的論文和代碼對您的研究有幫助，請考慮給個星 :star: 並引用 :pencil: :)

@misc{yuan2025yuescalingopenfoundation,
      title={YuE: Scaling Open Foundation Models for Long-Form Music Generation}, 
      author={Ruibin Yuan and Hanfeng Lin and Shuyue Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Yiming Liang and Wenye Ma and Xingjian Du and Xinrun Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Shangda Wu and Tianhao Shen and Ziyang Ma and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Junjie Wang and Jianwei Yu and Guojian Pang and Xu Li and Zihao Wang and Xiaohuan Zhou and Lijun Yu and Emmanouil Benetos and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Wenhao Huang and Wei Xue and Xu Tan and Yike Guo},
      year={2025},
      eprint={2503.08638},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2503.08638}, 
}

@misc{yuan2025yue,
  title={YuE: Open Music Foundation Models for Full-Song Generation},
  author={Ruibin Yuan and Hanfeng Lin and Shawn Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Xingjian Du and Xeron Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Lijun Yu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Tianhao Shen and Ziyang Ma and Shangda Wu and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaohuan Zhou and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Yiming Liang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Stephen Huang and Wei Xue and Xu Tan and Yike Guo}, 
  howpublished={\url{https://github.com/multimodal-art-projection/YuE}},
  year={2025},
  note={GitHub repository}
}