Yue S1 7B Anneal Jp Kr Icl

🚀 樂（YuE）模型

樂（YuE）是一系列開創性的開源基礎模型，專為音樂生成而設計，能夠將歌詞轉化為完整的歌曲（歌詞轉歌曲）。它可以生成包含動聽人聲和伴奏的完整歌曲，時長可達數分鐘，並且能夠處理多種音樂風格、語言和演唱技巧。

演示 🎶  |  📑 論文
YuE-s1-7B-anneal-en-cot 🤗  |  YuE-s1-7B-anneal-en-icl 🤗  |  YuE-s1-7B-anneal-jp-kr-cot 🤗
YuE-s1-7B-anneal-jp-kr-icl 🤗  |  YuE-s1-7B-anneal-zh-cot 🤗  |  YuE-s1-7B-anneal-zh-icl 🤗
YuE-s2-1B-general 🤗  |  YuE-upsampler 🤗

我們的模型名為樂（YuE），在中文裡，“樂”有“音樂”和“快樂”的意思。如果你覺得以“Yu”開頭的詞發音困難，也可以叫它“yeah”。我們還用模型的名字創作了一首歌。

樂（YuE）能夠生成一首完整的、長達數分鐘的歌曲，其中包括朗朗上口的人聲軌道和伴奏軌道。它能夠對多種音樂風格、語言和演唱技巧進行建模。請訪問演示頁面，欣賞精彩的人聲表演。

流行音樂：《寧靜的夜晚》 金屬音樂：《退後》

✨ 主要特性

• 多語言支持：支持英語、日語和韓語等多種語言。
• 多風格建模：能夠處理流行、金屬等多種音樂風格。
• 生成完整歌曲：可以將歌詞轉化為包含人聲和伴奏的完整歌曲。

🚀 快速開始

請查看我們的 GitHub 倉庫，以便輕鬆快速上手。

📄 許可證

許可證協議與免責聲明

• 樂（YuE）模型（包括其權重）現在根據Apache許可證2.0版發佈。我們不會從該模型中獲利，希望它能促進人類創造力的提升。
• 使用與歸屬：
  • 我們鼓勵藝術家和內容創作者將樂（YuE）生成的輸出自由地融入他們自己的作品中，包括商業項目。
  • 我們鼓勵在公開和商業使用中註明模型的名稱（“YuE by HKUST/M - A - P”）。
• 原創性與抄襲：創作者有責任確保他們基於樂（YuE）輸出創作或受其啟發的作品不會抄襲或非法複製現有材料。我們強烈建議用戶自行進行盡職調查，以避免版權侵權或其他法律違規行為。
• 推薦標註：當將作品上傳到流媒體平臺或公開發布時，我們建議使用“AI生成”、“YuE生成”、“AI輔助”或“AI協助”等術語進行標註，以保持創作過程的透明度。
• 免責聲明：
  • 我們不對該模型的不當使用承擔任何責任，包括（但不限於）非法、惡意或不道德的活動。
  • 用戶對使用樂（YuE）模型生成的任何內容以及使用該模型所產生的任何後果承擔全部責任。
  • 通過使用該模型，您同意理解並遵守所有適用的法律法規。

📚 詳細文檔

新聞與更新

• 📌 加入我們的 Discord 社區！
• 2025.03.12 🔥 論文發佈🎉：我們現在發佈了 樂（YuE）技術報告！我們討論了所有的技術細節、研究結果和經驗教訓。歡迎閱讀，並隨時引用我們的論文~
• 2025.03.11 🫶 現在樂（YuE）支持增量歌曲生成！請查看 joeljuvel 開發的 YuE - UI。YuE - UI 是一個基於 Gradio 的界面，支持批量生成、輸出選擇和續作。您可以靈活地嘗試音頻提示和不同的模型設置，在交互式時間軸上可視化您的進度，撤銷操作，在進行細化之前快速預覽第一階段的音頻輸出，並完全保存/加載您的會話（JSON 格式）。使用量化模型，即使在只有 8GB VRAM 的 GPU 上也能流暢運行。
• 2025.02.17 🫶 現在樂（YuE）支持音樂續作和 Google Colab！請查看 Mozer 開發的 YuE - extend。
• 2025.02.07 🎉 在 pinokio 上獲取適用於 Windows 的樂（YuE）。
• 2025.01.30 🔥 推理更新：我們現在支持雙軌 ICL 模式！您可以用一首參考歌曲提示模型，它將生成一首類似風格的新歌（@abrakjamson 的語音克隆演示，@cocktailpeanut 的音樂風格轉換演示 等）。快來試試吧！🔥🔥🔥 另外，請先查看演示，真的很精彩。
• 2025.01.30 🔥 公告：Apache 2.0 許可的新時代 🔥：我們很高興地宣佈，應社區的強烈要求，樂（YuE） 現在正式根據Apache 2.0許可發佈。我們衷心希望這將成為音樂生成和創意 AI 的一個分水嶺時刻，就像 Stable Diffusion 和 LLaMA 在各自領域所取得的成就一樣。🎉🎉🎉
• 2025.01.29 🎉：我們更新了許可說明。我們鼓勵藝術家和內容創作者採樣並將我們模型生成的輸出融入他們自己的作品中，甚至進行商業化。唯一的要求是註明我們的名稱：YuE by HKUST/M - A - P（按字母順序）。
• 2025.01.28 🫶：感謝 Fahd 製作了關於如何快速上手樂（YuE）的教程。這是他的 演示視頻。
• 2025.01.26 🔥：我們發佈了樂（YuE） 系列模型。

📖 引用

如果您覺得我們的論文和代碼對您的研究有幫助，請考慮給我們點個星 :star: 並引用我們的論文 :pencil: :)

@misc{yuan2025yuescalingopenfoundation,
      title={YuE: Scaling Open Foundation Models for Long-Form Music Generation}, 
      author={Ruibin Yuan and Hanfeng Lin and Shuyue Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Yiming Liang and Wenye Ma and Xingjian Du and Xinrun Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Shangda Wu and Tianhao Shen and Ziyang Ma and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Junjie Wang and Jianwei Yu and Guojian Pang and Xu Li and Zihao Wang and Xiaohuan Zhou and Lijun Yu and Emmanouil Benetos and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Wenhao Huang and Wei Xue and Xu Tan and Yike Guo},
      year={2025},
      eprint={2503.08638},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2503.08638}, 
}

@misc{yuan2025yue,
  title={YuE: Open Music Foundation Models for Full-Song Generation},
  author={Ruibin Yuan and Hanfeng Lin and Shawn Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Xingjian Du and Xeron Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Lijun Yu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Tianhao Shen and Ziyang Ma and Shangda Wu and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaohuan Zhou and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Yiming Liang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Stephen Huang and Wei Xue and Xu Tan and Yike Guo}, 
  howpublished={\url{https://github.com/multimodal-art-projection/YuE}},
  year={2025},
  note={GitHub repository}
}

🙏 致謝

本項目由香港科技大學（HKUST）和 M - A - P 共同牽頭（按字母順序）。同時感謝 moonshot.ai、字節跳動、01.ai 和吉利對本項目的支持。

友情鏈接：香港科技大學音頻小組的 Hugging Face 空間。

我們衷心感謝一路走來所獲得的所有支持。開源 AI 萬歲！