Musicgen Songstarter V0.2

🚀 musicgen-songstarter-v0.2

musicgen-songstarter-v0.2は、音楽制作に役立つ曲のアイデアを生成するためのモデルです。このモデルは、musicgen-stereo-melody-largeをSpliceサンプルライブラリのメロディループデータセットでファインチューニングしたもので、32kHzのステレオオーディオを生成します。

🚀 クイックスタート

musicgen-songstarter-v0.2を使用するには、まずaudiocraftをインストールする必要があります。その後、このモデルをHub上の他のMusicGenチェックポイントと同じようにロードできます。

✨ 主な機能

• 音楽制作に役立つ曲のアイデアを生成します。
• 32kHzのステレオオーディオを生成します。
• 条件付きおよび無条件のオーディオサンプルを生成できます。
• 与えられたオーディオのメロディを使用して生成することもできます。

📦 インストール

まず、audiocraftをインストールします。

pip install -U git+https://github.com/facebookresearch/audiocraft#egg=audiocraft

💻 使用例

基本的な使用法

import torchaudio
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write

model = MusicGen.get_pretrained('nateraw/musicgen-songstarter-v0.2')
model.set_generation_params(duration=8)  # generate 8 seconds.
wav = model.generate_unconditional(4)    # generates 4 unconditional audio samples
descriptions = ['acoustic, guitar, melody, trap, d minor, 90 bpm'] * 3
wav = model.generate(descriptions)  # generates 3 samples.

melody, sr = torchaudio.load('./assets/bach.mp3')
# generates using the melody from the given audio and the provided descriptions.
wav = model.generate_with_chroma(descriptions, melody[None].expand(3, -1, -1), sr)

for idx, one_wav in enumerate(wav):
    # Will save under {idx}.wav, with loudness normalization at -14 db LUFS.
    audio_write(f'{idx}', one_wav.cpu(), model.sample_rate, strategy="loudness", loudness_compressor=True)

📚 ドキュメント

プロンプト形式

以下のプロンプト形式に従ってください。

{tag_1}, {tag_2}, ..., {tag_n}, {key}, {bpm} bpm

例えば：

hip hop, soul, piano, chords, jazz, neo jazz, G# minor, 140 bpm

いくつかの例のタグについては、musicgen-songstarter-v0.1のREADMEのプロンプト形式セクションを参照してください。そこのタグは小さいv1データセット用のものですが、モデルが学習した内容のアイデアを得ることができます。

サンプル

🔧 技術詳細

詳細な情報については、ブログ記事を参照してください。

• コード：
  • リポジトリはこちらにあります。これはfacebookresearch/audiocraftの未公開のフォークで、PyTorch Lightningを使ってトレーニングループを書き直しています。
• データ：
  • 約1700 - 1800のサンプルを個人のSpliceアカウントで手動で聴き、購入しました。約7 - 8時間のオーディオです。
  • ライセンスの条件上、データを共有することはできません。
• ハードウェア：
  • Lambda Labsからの8xA100 40GBインスタンスを使用しました。
• 手順：
  • 10kステップでトレーニングし、約6時間かかりました。
  • トレーニング時のセグメントの長さを15秒に短縮しました。
• ハイパーパラメータ/ログ：
  • wandbの実行を参照してください。これにはトレーニングメトリクス、ログ、トレーニング時のハードウェアメトリクス、ハイパーパラメータ、およびトレーニングスクリプトを実行したときに使用した正確なコマンドが含まれています。

📄 ライセンス

このモデルはcc-by-nc-4.0ライセンスの下で提供されています。

謝辞

この研究は、以下の支援なしには不可能でした。

• Lambda Labs は、コンピューティングクレジットを提供することで、大規模なトレーニングランを支援してくれました。
• Replicate は、初期開発のためのコンピューティングリソースを提供してくれました。

ありがとうございます ❤️