Bigvgan V2 22khz 80band Fmax8k 256x

🚀 BigVGAN: 大規模学習による汎用的なニューラルボコーダ

BigVGANは、大規模学習を用いた汎用的なニューラルボコーダです。高品質な音声合成を実現します。

Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro, Sungroh Yoon

[論文] - [コード] - [展示] - [プロジェクトページ] - [重み] - [デモ]

🚀 クイックスタート

このセクションでは、BigVGANの基本的な使い方を説明します。

✨ 主な機能

• 大規模学習による高品質な音声合成
• 多様なサンプリングレートとメルバンドに対応
• カスタムCUDAカーネルによる高速推論

📦 インストール

このリポジトリには、事前学習されたBigVGANのチェックポイントが含まれており、推論を簡単に行うことができます。また、huggingface_hubのサポートも追加されています。

モデルの学習や追加機能に興味がある場合は、公式のGitHubリポジトリを参照してください: https://github.com/NVIDIA/BigVGAN

git lfs install
git clone https://huggingface.co/nvidia/bigvgan_v2_22khz_80band_fmax8k_256x

💻 使用例

基本的な使用法

以下の例は、BigVGANを使用する方法を説明しています。Hugging Face Hubから事前学習されたBigVGANジェネレータをロードし、入力波形からメルスペクトログラムを計算し、メルスペクトログラムをモデルの入力として合成波形を生成します。

device = 'cuda'

import torch
import bigvgan
import librosa
from meldataset import get_mel_spectrogram

# モデルをインスタンス化します。高速推論のためにuse_cuda_kernel=Trueをオプションで設定できます。
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_22khz_80band_fmax8k_256x', use_cuda_kernel=False)

# モデルの重み正規化を削除し、評価モードに設定します。
model.remove_weight_norm()
model = model.eval().to(device)

# wavファイルをロードし、メルスペクトログラムを計算します。
wav_path = '/path/to/your/audio.wav'
wav, sr = librosa.load(wav_path, sr=model.h.sampling_rate, mono=True) # wavは形状が[T_time]で、値が[-1, 1]のnp.ndarrayです。
wav = torch.FloatTensor(wav).unsqueeze(0) # wavは形状が[B(1), T_time]のFloatTensorです。

# 正解音声からメルスペクトログラムを計算します。
mel = get_mel_spectrogram(wav, model.h).to(device) # melは形状が[B(1), C_mel, T_frame]のFloatTensorです。

# メルから波形を生成します。
with torch.inference_mode():
    wav_gen = model(mel) # wav_genは形状が[B(1), 1, T_time]で、値が[-1, 1]のFloatTensorです。
wav_gen_float = wav_gen.squeeze(0).cpu() # wav_genは形状が[1, T_time]のFloatTensorです。

# 生成された波形を16ビットのリニアPCMに変換することができます。
wav_gen_int16 = (wav_gen_float * 32767.0).numpy().astype('int16') # wav_genは現在形状が[1, T_time]で、dtypeがint16のnp.ndarrayです。

高度な使用法

カスタムCUDAカーネルを使用して合成を行うことができます。BigVGANをインスタンス化する際にuse_cuda_kernelパラメータを使用します。

import bigvgan
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_22khz_80band_fmax8k_256x', use_cuda_kernel=True)

初めて適用するときは、nvccとninjaを使用してカーネルをビルドします。ビルドが成功すると、カーネルはalias_free_activation/cuda/buildに保存され、モデルは自動的にカーネルをロードします。コードベースはCUDA 12.1でテストされています。

システムに両方がインストールされていること、およびシステムにインストールされているnvccのバージョンがPyTorchビルドで使用されているバージョンと一致することを確認してください。

詳細については、公式のGitHubリポジトリを参照してください: https://github.com/NVIDIA/BigVGAN?tab=readme-ov-file#using-custom-cuda-kernel-for-synthesis

📚 ドキュメント

事前学習モデル

Hugging Face Collectionsに事前学習モデルを提供しています。リストされたモデルリポジトリ内で、ジェネレータの重み（bigvgan_generator.ptという名前）とその識別器/オプティマイザの状態（bigvgan_discriminator_optimizer.ptという名前）のチェックポイントをダウンロードすることができます。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。