Musicgen Stereo Melody Large

🚀 MusicGen - Stereo - Melody - Large 3.3B

MusicGenは、テキスト記述やオーディオプロンプトを条件として、高品質な音楽サンプルを生成できるテキストから音楽への変換モデルです。このモデルは、32kHzのEnCodecトークナイザーを使って訓練された単一ステージの自己回帰Transformerモデルで、50Hzでサンプリングされた4つのコードブックを持ちます。

🚀 クイックスタート

MusicGenを試してみましょう！

• MusicGenをローカルで実行することもできます。

1. まず、audiocraftライブラリをインストールします。

pip install git+https://github.com/facebookresearch/audiocraft.git

2. ffmpegがインストールされていることを確認します。

apt get install ffmpeg

3. 次のPythonコードを実行します。

import torchaudio
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write

model = MusicGen.get_pretrained('melody')
model.set_generation_params(duration=8)  # 8秒間の音楽を生成します。

descriptions = ['happy rock', 'energetic EDM', 'sad jazz']

melody, sr = torchaudio.load('./assets/bach.mp3')
# 与えられたオーディオのメロディと提供された記述を使って生成します。
wav = model.generate_with_chroma(descriptions, melody[None].expand(3, -1, -1), sr)

for idx, one_wav in enumerate(wav):
    # -14 db LUFSで音量正規化して、{idx}.wavとして保存します。
    audio_write(f'{idx}', one_wav.cpu(), model.sample_rate, strategy="loudness")

✨ 主な機能

• テキスト記述やオーディオプロンプトを条件として、高品質な音楽サンプルを生成できます。
• 単一ステージの自己回帰Transformerモデルで、4つのコードブックを一度に生成します。
• コードブック間に小さな遅延を導入することで、並列に予測できるため、1秒あたり50回の自己回帰ステップしか必要ありません。

📚 ドキュメント

モデル詳細

• モデルを開発した組織：Meta AIのFAIRチーム
• モデルの日付：MusicGenは2023年4月から5月の間に訓練されました。
• モデルのバージョン：これはモデルのバージョン1です。
• モデルのタイプ：MusicGenは、オーディオトークン化用のEnCodecモデルと、音楽モデリング用のTransformerアーキテクチャに基づく自己回帰言語モデルで構成されています。モデルには、300M、1.5B、3.3Bパラメータの異なるサイズがあり、2つのバリエーションがあります。1つはテキストから音楽を生成するタスク用に訓練されたモデル、もう1つはメロディガイド付きの音楽生成用に訓練されたモデルです。
• 詳細情報のための論文またはリソース：詳細情報は、Simple and Controllable Music Generationという論文に記載されています。
• 引用詳細：

@misc{copet2023simple,
      title={Simple and Controllable Music Generation}, 
      author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
      year={2023},
      eprint={2306.05284},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

• ライセンス：コードはMITライセンスで公開され、モデルの重みはCC - BY - NC 4.0で公開されています。
• モデルに関する質問やコメントを送る場所：MusicGenに関する質問やコメントは、プロジェクトのGithubリポジトリを通じて、またはissueを開くことで送信できます。

意図された用途

• 主な意図された用途：MusicGenの主な用途は、AIベースの音楽生成に関する研究です。これには、生成モデルの限界を調査し、科学の現状をさらに改善するための研究や、機械学習の愛好家が生成AIモデルの現在の能力を理解するためのテキストまたはメロディによる音楽生成が含まれます。
• 主な意図されたユーザー：このモデルの主な意図されたユーザーは、オーディオ、機械学習、人工知能の研究者、およびこれらのモデルをよりよく理解しようとする愛好家です。
• 範囲外のユースケース：このモデルは、さらなるリスク評価と軽減策を行わずに下流のアプリケーションで使用してはなりません。また、人々にとって敵対的または疎外感を与える音楽作品を意図的に作成または配布するために使用してはなりません。これには、人々が不快、苦痛、または不快感を感じると予想される音楽や、歴史的または現在のステレオタイプを広めるコンテンツの生成が含まれます。

評価指標

• モデルの性能評価指標：標準的な音楽ベンチマークでモデルを評価するために、以下の客観的な指標を使用しました。
  • 事前訓練されたオーディオ分類器（VGGish）から抽出された特徴量に対して計算されたFrechet Audio Distance
  • 事前訓練されたオーディオ分類器（PaSST）から抽出されたラベル分布のKullback - Leibler Divergence
  • 事前訓練されたCLAPモデルから抽出されたオーディオ埋め込みとテキスト埋め込みの間のCLAP Score
• また、人間の参加者を対象に定性的な研究を行い、以下の軸でモデルの性能を評価しました。
  • 音楽サンプルの全体的な品質
  • 提供されたテキスト入力に対するテキストの関連性
  • メロディガイド付きの音楽生成におけるメロディへの忠実度

評価データセット

モデルは、MusicCapsベンチマークと、訓練セットとアーティストが重複しないドメイン内のホールドアウト評価セットで評価されました。

訓練データセット

モデルは、以下のソースを使用したライセンス付きデータで訓練されました。Meta Music Initiative Sound Collection、Shutterstock music collection、およびPond5 music collection。訓練セットと対応する前処理の詳細については、論文を参照してください。

評価結果

公開されたモデルをMusicCapsで評価して得られた客観的な指標を以下に示します。公開されたモデルについては、すべてのデータセットを最先端の音楽ソース分離方法（オープンソースのHybrid Transformer for Music Source Separation（HT - Demucs）を使用）で処理して、楽器部分のみを残しています。これが、論文で使用されたモデルと客観的な指標に差がある理由です。

制限事項とバイアス

• データ：このモデルの訓練に使用されるデータソースは、音楽専門家によって作成され、権利者との法的契約の対象となっています。モデルは20,000時間のデータで訓練されており、より大きなデータセットでモデルを拡張することで、モデルの性能をさらに向上させることができると考えています。
• 軽減策：データソースからは、対応するタグを使用してボーカルが削除され、その後、最先端の音楽ソース分離方法（オープンソースのHybrid Transformer for Music Source Separation（HT - Demucs）を使用）が適用されました。
• 制限事項：
  • モデルは現実的なボーカルを生成することができません。
  • モデルは英語の記述で訓練されており、他の言語では性能が低下します。
  • モデルはすべての音楽スタイルや文化に対して同等の性能を発揮しません。
  • モデルは時々曲の終わりを生成し、無音に落ち着きます。
  • どのようなタイプのテキスト記述が最良の生成結果をもたらすかを評価するのは難しい場合があります。満足のいく結果を得るためには、プロンプトエンジニアリングが必要になることがあります。
• バイアス：データのソースは多様性に欠ける可能性があり、すべての音楽文化がデータセットに均等に表されているわけではありません。モデルは、存在する幅広い音楽ジャンルに対して同等の性能を発揮しない可能性があります。モデルから生成されるサンプルは、訓練データのバイアスを反映します。このモデルに関するさらなる研究には、文化のバランスの取れた公正な表現方法を含めるべきです。たとえば、訓練データを多様で包括的なものに拡張することが考えられます。
• リスクと害：モデルのバイアスと制限事項により、偏った、不適切な、または不快なサンプルが生成される可能性があります。研究を再現し、新しいモデルを訓練するためのコードを提供することで、新しい、より代表的なデータへの適用範囲を広げることができると考えています。
• ユースケース：ユーザーは、モデルのバイアス、制限事項、およびリスクを認識している必要があります。MusicGenは、制御可能な音楽生成に関する人工知能研究用に開発されたモデルです。したがって、さらなる調査とリスク軽減策を行わずに下流のアプリケーションで使用してはなりません。

📄 ライセンス

コードはMITライセンスで公開され、モデルの重みはCC - BY - NC 4.0で公開されています。