Yue S1 0.5B

🚀 楽 (YuE)

楽 (YuE) は、音楽生成に特化した革新的なオープンソースの基礎モデルシリーズです。このモデルは、歌詞を完全な曲（lyrics2song）に変換することができ、数分に及ぶキャッチーなボーカルトラックと伴奏トラックを含む完成した曲を生成することが可能です。また、様々なジャンルや言語、ボーカルテクニックをモデリングすることができます。

デモ 🎶  |  📑 論文
YuE-s1-7B-anneal-en-cot 🤗  |  YuE-s1-7B-anneal-en-icl 🤗  |  YuE-s1-7B-anneal-jp-kr-cot 🤗
YuE-s1-7B-anneal-jp-kr-icl 🤗  |  YuE-s1-7B-anneal-zh-cot 🤗  |  YuE-s1-7B-anneal-zh-icl 🤗
YuE-s2-1B-general 🤗  |  YuE-upsampler 🤗

私たちのモデルの名前は YuE (楽) です。中国語では、この言葉は「音楽」と「幸福」を意味します。一部の方は、Yuで始まる単語の発音が難しいと感じるかもしれません。その場合は、「yeah」と呼んでいただいて構いません。私たちは、モデルの名前を使って歌を書きました。

YuEは、歌詞を完全な曲（lyrics2song）に変換するために設計された画期的なオープンソースの基礎モデルシリーズです。数分に及ぶキャッチーなボーカルトラックと伴奏トラックを含む完成した曲を生成することができます。また、様々なジャンルや言語、ボーカルテクニックをモデリングすることができます。素晴らしいボーカルパフォーマンスを体験するには、デモページをご覧ください。

ポップ: 静かな夜 メタル: 後退

🚀 クイックスタート

注意：これは初期の実験のチェックポイントで、500Bトークンのデータで学習されています。歌詞に構造タグや音色タグを追加することはサポートされておらず、一部の音楽ジャンルの固定タグのみがサポートされています。音楽制作には推奨しません。結果があまり良くない可能性があります。コミュニティからの要請に応えて、研究目的で公開しています。

簡単なクイックスタートについては、githubを確認してください。

✨ 主な機能

• 歌詞を完全な曲（lyrics2song）に変換することができます。
• 数分に及ぶキャッチーなボーカルトラックと伴奏トラックを含む完成した曲を生成することができます。
• 様々なジャンルや言語、ボーカルテクニックをモデリングすることができます。

📚 ドキュメント

ニュースとアップデート

• 📌 Discordで私たちに参加しましょう！

• 2025.03.12 🔥 論文公開🎉: YuE技術レポートを公開しました！すべての技術的詳細、発見、教訓について議論しています。ぜひご覧ください。引用も歓迎します。

• 2025.03.11 🫶 YuEが増分的な曲生成をサポートするようになりました！ joeljuvelによるYuE-UIを参照してください。YuE-UIは、バッチ生成、出力選択、続き生成をサポートするGradioベースのインターフェースです。オーディオプロンプトやさまざまなモデル設定を柔軟に試すことができ、インタラクティブなタイムラインで進捗状況を可視化し、アクションを巻き戻し、第1段階のオーディオ出力を精製する前にすばやくプレビューし、セッションを完全に保存/読み込み（JSON形式）することができます。量子化モデルを使用することで、VRAMが8GBのGPUでもスムーズに実行するように最適化されています。

• 2025.02.17 🫶 YuEが音楽の続き生成とGoogle Colabをサポートするようになりました！ MozerによるYuE-extendを参照してください。

• 2025.02.07 🎉 pinokioでWindows用のYuEを入手してください。

• 2025.01.30 🔥 推論アップデート: デュアルトラックICLモードをサポートするようになりました！参照曲をモデルに入力すると、同じスタイルの新しい曲を生成します（voice cloningのデモ by @abrakjamson、音楽スタイル変換のデモ by @cocktailpeanutなど）。是非試してみてください！ 🔥🔥🔥 なお、まずはデモをご覧になることをおすすめします。本当に素晴らしいです。

• 2025.01.30 🔥 発表: Apache 2.0の下での新しい時代 🔥: コミュニティからの圧倒的な要請に応えて、YuEが正式にApache 2.0ライセンスの下で公開されることを嬉しく思います。これが、音楽生成とクリエイティブAIにとって、Stable DiffusionやLLaMAがそれぞれの分野で達成したような画期的な瞬間になることを心から願っています。 🎉🎉🎉

• 2025.01.29 🎉: ライセンスの説明を更新しました。私たちは、アーティストやコンテンツクリエイターが、当社のモデルによって生成された出力を自分たちの作品にサンプリングして組み込み、さらには収益化することを奨励しています。唯一の要件は、私たちの名前をクレジットすることです：YuE by HKUST/M-A-P（アルファベット順）。

• 2025.01.28 🫶: FahdがYuEのクイックスタート方法に関するチュートリアルを作成してくれたことに感謝します。こちらが彼のデモンストレーションです。

• 2025.01.26 🔥: YuEシリーズをリリースしました。

📄 ライセンス

ライセンス契約と免責事項

• YuEモデル（そのウェイトを含む）は、現在Apache License, Version 2.0の下で公開されています。当社はこのモデルから利益を得ることはありません。人間の創造性の向上に役立つことを願っています。
• 使用と帰属表示:
  • アーティストやコンテンツクリエイターが、当社のモデルによって生成された出力を自分たちの作品に自由に組み込み、商業プロジェクトに使用することを奨励しています。
  • 特に公開や商業利用の場合は、モデルの名前（YuE by HKUST/M-A-P）を帰属表示することを奨励しています。
• 独創性と盗用: 当社のモデルの出力から派生した、またはそれに触発された作品が、既存の素材を盗用または不法に複製しないようにするのは、クリエイターの責任です。著作権侵害やその他の法的違反を避けるために、ユーザー自身が十分な注意を払うことを強くお願いします。
• 推奨ラベリング: 作品をストリーミングプラットフォームにアップロードしたり、公開したりする場合は、「AI生成」、「YuE生成」、「AI支援」または「AI補助」などの用語でラベリングすることを推奨します。これにより、創造プロセスの透明性が維持されます。
• 免責事項:
  • このモデルの誤用（違法、悪意的または非倫理的な活動を含むがこれに限定されない）について、当社は一切の責任を負いません。
  • ユーザーは、YuEモデルを使用して生成されたすべてのコンテンツと、その使用に起因するすべての結果について、独自の責任で取り扱う必要があります。
  • このモデルを使用することにより、生成されたコンテンツに関するすべての適用される法律および規制を理解し、遵守することに同意するものとみなされます。

謝辞

このプロジェクトは、香港科技大学（HKUST）とM-A-Pが共同で主導しています（アルファベット順）。また、moonshot.ai、bytedance、01.ai、geelyがこのプロジェクトを支援してくれたことに感謝します。 香港科技大学オーディオグループのhuggingface spaceへの友好的なリンクです。

これまでのすべての支援に深く感謝しています。オープンソースAI万歳！

引用

私たちの論文とコードがあなたの研究に役立つ場合、スターを付けていただき、引用していただけると幸いです。

@misc{yuan2025yuescalingopenfoundation,
      title={YuE: Scaling Open Foundation Models for Long-Form Music Generation}, 
      author={Ruibin Yuan and Hanfeng Lin and Shuyue Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Yiming Liang and Wenye Ma and Xingjian Du and Xinrun Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Shangda Wu and Tianhao Shen and Ziyang Ma and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Junjie Wang and Jianwei Yu and Guojian Pang and Xu Li and Zihao Wang and Xiaohuan Zhou and Lijun Yu and Emmanouil Benetos and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Wenhao Huang and Wei Xue and Xu Tan and Yike Guo},
      year={2025},
      eprint={2503.08638},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2503.08638}, 
}

@misc{yuan2025yue,
  title={YuE: Open Music Foundation Models for Full-Song Generation},
  author={Ruibin Yuan and Hanfeng Lin and Shawn Guo and Ge Zhang and Jiahao Pan and Yongyi Zang and Haohe Liu and Xingjian Du and Xeron Du and Zhen Ye and Tianyu Zheng and Yinghao Ma and Minghao Liu and Lijun Yu and Zeyue Tian and Ziya Zhou and Liumeng Xue and Xingwei Qu and Yizhi Li and Tianhao Shen and Ziyang Ma and Shangda Wu and Jun Zhan and Chunhui Wang and Yatian Wang and Xiaohuan Zhou and Xiaowei Chi and Xinyue Zhang and Zhenzhu Yang and Xiangzhou Wang and Shansong Liu and Lingrui Mei and Peng Li and Junjie Wang and Jianwei Yu and Guojian Pang and Xu Li and Zihao Wang and Xiaohuan Zhou and Lijun Yu and Emmanouil Benetos and Yong Chen and Chenghua Lin and Xie Chen and Gus Xia and Zhaoxiang Zhang and Chao Zhang and Wenhu Chen and Xinyu Zhou and Xipeng Qiu and Roger Dannenberg and Jiaheng Liu and Jian Yang and Stephen Huang and Wei Xue and Xu Tan and Yike Guo}, 
  howpublished={\url{https://github.com/multimodal-art-projection/YuE}},
  year={2025},
  note={GitHub repository}
}