Bigvgan V2 44khz 128band 512x

🚀 BigVGAN: 大規模トレーニングを用いた汎用的なニューラルボコーダ

Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro, Sungroh Yoon

[論文] - [コード] - [展示] - [プロジェクトページ] - [重み] - [デモ]

🚀 クイックスタート

このREADMEでは、BigVGANの概要、インストール方法、使用例、事前学習済みモデルの情報などを提供します。

✨ 主な機能

• 大規模トレーニングにより、汎用的な音声生成が可能。
• カスタムCUDAカーネルを用いた高速推論。
• Hugging Face Hubとの統合により、簡単に事前学習済みモデルを利用できる。

📦 インストール

このリポジトリには、事前学習済みのBigVGANチェックポイントが含まれており、推論を簡単に行うことができます。また、huggingface_hubのサポートも提供されています。

モデルのトレーニングや追加の機能に興味がある場合は、公式のGitHubリポジトリを参照してください: https://github.com/NVIDIA/BigVGAN

git lfs install
git clone https://huggingface.co/nvidia/bigvgan_v2_44khz_128band_512x

💻 使用例

基本的な使用法

以下の例では、Hugging Face Hubから事前学習済みのBigVGANジェネレータをロードし、入力波形からメルスペクトログラムを計算し、メルスペクトログラムをモデルの入力として合成波形を生成する方法を説明します。

device = 'cuda'

import torch
import bigvgan
import librosa
from meldataset import get_mel_spectrogram

# モデルをインスタンス化します。オプションでuse_cuda_kernel=Trueを設定すると、高速推論が可能です。
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_44khz_128band_512x', use_cuda_kernel=False)

# モデルの重み正規化を削除し、評価モードに設定します。
model.remove_weight_norm()
model = model.eval().to(device)

# wavファイルをロードし、メルスペクトログラムを計算します。
wav_path = '/path/to/your/audio.wav'
wav, sr = librosa.load(wav_path, sr=model.h.sampling_rate, mono=True) # wavは形状が[T_time]で、値が[-1, 1]のnp.ndarrayです。
wav = torch.FloatTensor(wav).unsqueeze(0) # wavは形状が[B(1), T_time]のFloatTensorです。

# 正解音声からメルスペクトログラムを計算します。
mel = get_mel_spectrogram(wav, model.h).to(device) # melは形状が[B(1), C_mel, T_frame]のFloatTensorです。

# メルから波形を生成します。
with torch.inference_mode():
    wav_gen = model(mel) # wav_genは形状が[B(1), 1, T_time]で、値が[-1, 1]のFloatTensorです。
wav_gen_float = wav_gen.squeeze(0).cpu() # wav_genは形状が[1, T_time]のFloatTensorです。

# 生成された波形を16ビットリニアPCMに変換することができます。
wav_gen_int16 = (wav_gen_float * 32767.0).numpy().astype('int16') # wav_genは現在、形状が[1, T_time]で、dtypeがint16のnp.ndarrayです。

高度な使用法

カスタムCUDAカーネルを使用して合成を行うことができます。BigVGANをインスタンス化する際に、use_cuda_kernelパラメータを使用します。

import bigvgan
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_44khz_128band_512x', use_cuda_kernel=True)

初めて適用するときは、nvccとninjaを使用してカーネルをビルドします。ビルドが成功すると、カーネルはalias_free_activation/cuda/buildに保存され、モデルは自動的にカーネルをロードします。コードベースはCUDA 12.1でテストされています。

システムに両方がインストールされていること、およびシステムにインストールされているnvccのバージョンがPyTorchビルドで使用されているバージョンと一致することを確認してください。

詳細については、公式のGitHubリポジトリを参照してください: https://github.com/NVIDIA/BigVGAN?tab=readme-ov-file#using-custom-cuda-kernel-for-synthesis

📚 ドキュメント

事前学習済みモデル

Hugging Face Collectionsに事前学習済みモデルを提供しています。リストされているモデルリポジトリ内で、ジェネレータの重み（bigvgan_generator.ptという名前）とその識別器/オプティマイザの状態（bigvgan_discriminator_optimizer.ptという名前）のチェックポイントをダウンロードすることができます。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。詳細については、ライセンスファイルを参照してください。