Bigvgan V2 22khz 80band 256x

🚀 BigVGAN: 大規模トレーニングを用いた汎用的なニューラルボコーダ

BigVGANは、大規模トレーニングによって実現された汎用的なニューラルボコーダです。このモデルは、高品質な音声合成を可能にし、多様な音声データセットでのトレーニングにより、幅広い音声タイプに対応しています。

Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro, Sungroh Yoon

[論文] - [コード] - [展示] - [プロジェクトページ] - [重み] - [デモ]

🚀 クイックスタート

このセクションでは、BigVGANの基本的な使い方を紹介します。以下の手順に従って、モデルをインストールし、音声合成を行ってみましょう。

✨ 主な機能

• 大規模トレーニング：多様な音声データセットを用いた大規模トレーニングにより、高品質な音声合成が可能。
• カスタムCUDAカーネル：高速な推論を実現するためのカスタムCUDAカーネルを提供。
• Hugging Face Hubとの統合：Hugging Face Hubと統合されており、簡単に事前学習済みモデルを利用できる。

📦 インストール

このリポジトリには、事前学習済みのBigVGANチェックポイントが含まれており、推論を簡単に行うことができます。また、huggingface_hubのサポートも追加されています。

モデルのトレーニングや追加機能に興味がある場合は、公式のGitHubリポジトリを参照してください：https://github.com/NVIDIA/BigVGAN

git lfs install
git clone https://huggingface.co/nvidia/bigvgan_v2_22khz_80band_256x

💻 使用例

基本的な使用法

以下の例では、Hugging Face Hubから事前学習済みのBigVGANジェネレータをロードし、入力波形からメルスペクトログラムを計算し、メルスペクトログラムをモデルの入力として合成波形を生成する方法を説明します。

device = 'cuda'

import torch
import bigvgan
import librosa
from meldataset import get_mel_spectrogram

# モデルをインスタンス化します。オプションでuse_cuda_kernel=Trueを設定すると、高速な推論が可能です。
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_22khz_80band_256x', use_cuda_kernel=False)

# モデルの重み正規化を削除し、評価モードに設定します。
model.remove_weight_norm()
model = model.eval().to(device)

# wavファイルをロードし、メルスペクトログラムを計算します。
wav_path = '/path/to/your/audio.wav'
wav, sr = librosa.load(wav_path, sr=model.h.sampling_rate, mono=True) # wavは形状が[T_time]で、値が[-1, 1]のnp.ndarrayです。
wav = torch.FloatTensor(wav).unsqueeze(0) # wavは形状が[B(1), T_time]のFloatTensorです。

# グラウンドトゥルースの音声からメルスペクトログラムを計算します。
mel = get_mel_spectrogram(wav, model.h).to(device) # melは形状が[B(1), C_mel, T_frame]のFloatTensorです。

# メルから波形を生成します。
with torch.inference_mode():
    wav_gen = model(mel) # wav_genは形状が[B(1), 1, T_time]で、値が[-1, 1]のFloatTensorです。
wav_gen_float = wav_gen.squeeze(0).cpu() # wav_genは形状が[1, T_time]のFloatTensorです。

# 生成された波形を16ビットのリニアPCMに変換することができます。
wav_gen_int16 = (wav_gen_float * 32767.0).numpy().astype('int16') # wav_genは現在形状が[1, T_time]で、データ型がint16のnp.ndarrayです。

高度な使用法

カスタムCUDAカーネルを使用して合成を行うことができます。BigVGANをインスタンス化する際に、use_cuda_kernelパラメータを使用します。

import bigvgan
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_22khz_80band_256x', use_cuda_kernel=True)

初めて適用するときは、nvccとninjaを使用してカーネルをビルドします。ビルドが成功すると、カーネルはalias_free_activation/cuda/buildに保存され、モデルは自動的にカーネルをロードします。コードベースはCUDA 12.1でテストされています。

システムに両方がインストールされていること、およびシステムにインストールされているnvccのバージョンがPyTorchビルドで使用されているバージョンと一致することを確認してください。

詳細については、公式のGitHubリポジトリを参照してください：https://github.com/NVIDIA/BigVGAN?tab=readme-ov-file#using-custom-cuda-kernel-for-synthesis

📚 詳細ドキュメント

事前学習済みモデル

Hugging Face Collectionsに事前学習済みモデルを提供しています。リストされたモデルリポジトリ内で、ジェネレータの重み（bigvgan_generator.ptという名前）とその識別器/オプティマイザの状態（bigvgan_discriminator_optimizer.ptという名前）のチェックポイントをダウンロードすることができます。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。