Musicgen Small

🚀 音乐生成模型适配 Transformers.js

本项目将 facebook/musicgen-small 模型转换为 ONNX 权重，以适配 Transformers.js 库。借助此项目，你可以在 JavaScript 环境中轻松使用音乐生成模型。

🚀 快速开始

本项目使用 facebook/musicgen-small 模型的 ONNX 权重，以兼容 Transformers.js。

📦 安装指南

如果你还未安装 Transformers.js JavaScript 库，可以使用以下命令从 NPM 进行安装：

npm install @huggingface/transformers

💻 使用示例

基础用法

以下示例展示了如何使用 Xenova/musicgen-small 生成音乐：

import { AutoTokenizer, MusicgenForConditionalGeneration } from '@huggingface/transformers';

// 加载分词器和模型
const tokenizer = await AutoTokenizer.from_pretrained('Xenova/musicgen-small');
const model = await MusicgenForConditionalGeneration.from_pretrained('Xenova/musicgen-small', {
  dtype: {
    text_encoder: 'q8',
    decoder_model_merged: 'q8',
    encodec_decode: 'fp32',
  },
});

// 准备文本输入
const prompt = 'a light and cheerly EDM track, with syncopated drums, aery pads, and strong emotions bpm: 130';
const inputs = tokenizer(prompt);

// 生成音频
const audio_values = await model.generate({
  ...inputs,
  max_new_tokens: 500,
  do_sample: true,
  guidance_scale: 3,
});

// （可选）将输出写入 WAV 文件
const audio = new RawAudio(audio_values.data, model.config.audio_encoder.sampling_rate);
audio.save('musicgen.wav');

你可以点击下面的音频播放示例：

在线演示

我们还发布了一个在线演示，你可以亲自尝试：音乐生成在线演示

你可以观看下面的视频了解演示效果：

📚 详细文档

⚠️ 重要提示

目前为 ONNX 权重单独创建一个仓库是一种临时解决方案，直到 WebML 获得更多关注。如果你想让你的模型适配 Web，我们建议使用 🤗 Optimum 将模型转换为 ONNX 格式，并像本仓库一样组织你的仓库结构（将 ONNX 权重放在名为 onnx 的子文件夹中）。

📄 许可证

本项目使用的许可证为 cc-by-nc-4.0。

📋 信息表格