Musicgen Small

🚀 Musicgen-small ONNX モデル

このプロジェクトは、Transformers.jsと互換性のあるONNXウェイトを持つ facebook/musicgen-small モデルを提供します。音楽生成をウェブ環境で行うことができます。

🚀 クイックスタート

Transformers.jsを使用して音楽生成を始めるには、まずライブラリをインストールする必要があります。

📦 インストール

NPM から Transformers.js JavaScriptライブラリをインストールできます。

npm install @huggingface/transformers

💻 使用例

基本的な使用法

Xenova/musicgen-small で音楽を生成する例です。

import { AutoTokenizer, MusicgenForConditionalGeneration } from '@huggingface/transformers';

// Load tokenizer and model
const tokenizer = await AutoTokenizer.from_pretrained('Xenova/musicgen-small');
const model = await MusicgenForConditionalGeneration.from_pretrained('Xenova/musicgen-small', {
  dtype: {
    text_encoder: 'q8',
    decoder_model_merged: 'q8',
    encodec_decode: 'fp32',
  },
});

// Prepare text input
const prompt = 'a light and cheerly EDM track, with syncopated drums, aery pads, and strong emotions bpm: 130';
const inputs = tokenizer(prompt);

// Generate audio
const audio_values = await model.generate({
  ...inputs,
  max_new_tokens: 500,
  do_sample: true,
  guidance_scale: 3,
});

// (Optional) Write the output to a WAV file
const audio = new RawAudio(audio_values.data, model.config.audio_encoder.sampling_rate);
audio.save('musicgen.wav');

生成された音楽のサンプルを再生できます。

また、オンラインデモも公開しています。自分で試すことができます。 https://huggingface.co/spaces/Xenova/musicgen-web

デモのビデオもあります。

📄 ライセンス

このプロジェクトは cc-by-nc-4.0 ライセンスの下で提供されています。

⚠️ 重要提示

ONNXウェイト用の別のリポジトリを用意するのは、WebMLが普及するまでの一時的な解決策です。モデルをウェブ対応にする場合は、🤗 Optimum を使用してONNXに変換し、このリポジトリのように構成することをおすすめします（ONNXウェイトは onnx というサブフォルダに配置）。