Musicgen Small

🚀 音樂生成模型適配 Transformers.js

本項目將 facebook/musicgen-small 模型轉換為 ONNX 權重，以適配 Transformers.js 庫。藉助此項目，你可以在 JavaScript 環境中輕鬆使用音樂生成模型。

🚀 快速開始

本項目使用 facebook/musicgen-small 模型的 ONNX 權重，以兼容 Transformers.js。

📦 安裝指南

如果你還未安裝 Transformers.js JavaScript 庫，可以使用以下命令從 NPM 進行安裝：

npm install @huggingface/transformers

💻 使用示例

基礎用法

以下示例展示瞭如何使用 Xenova/musicgen-small 生成音樂：

import { AutoTokenizer, MusicgenForConditionalGeneration } from '@huggingface/transformers';

// 加載分詞器和模型
const tokenizer = await AutoTokenizer.from_pretrained('Xenova/musicgen-small');
const model = await MusicgenForConditionalGeneration.from_pretrained('Xenova/musicgen-small', {
  dtype: {
    text_encoder: 'q8',
    decoder_model_merged: 'q8',
    encodec_decode: 'fp32',
  },
});

// 準備文本輸入
const prompt = 'a light and cheerly EDM track, with syncopated drums, aery pads, and strong emotions bpm: 130';
const inputs = tokenizer(prompt);

// 生成音頻
const audio_values = await model.generate({
  ...inputs,
  max_new_tokens: 500,
  do_sample: true,
  guidance_scale: 3,
});

// （可選）將輸出寫入 WAV 文件
const audio = new RawAudio(audio_values.data, model.config.audio_encoder.sampling_rate);
audio.save('musicgen.wav');

你可以點擊下面的音頻播放示例：

在線演示

我們還發布了一個在線演示，你可以親自嘗試：音樂生成在線演示

你可以觀看下面的視頻瞭解演示效果：

📚 詳細文檔

⚠️ 重要提示

目前為 ONNX 權重單獨創建一個倉庫是一種臨時解決方案，直到 WebML 獲得更多關注。如果你想讓你的模型適配 Web，我們建議使用 🤗 Optimum 將模型轉換為 ONNX 格式，並像本倉庫一樣組織你的倉庫結構（將 ONNX 權重放在名為 onnx 的子文件夾中）。

📄 許可證

本項目使用的許可證為 cc-by-nc-4.0。

📋 信息表格