Bigvgan V2 24khz 100band 256x

🚀 BigVGAN: 大規模学習による汎用ニューラルボコーダ

BigVGANは、大規模学習を用いた汎用ニューラルボコーダです。高品質な音声合成を実現し、多様な音声タイプに対応しています。

Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro, Sungroh Yoon

[論文] - [コード] - [展示] - [プロジェクトページ] - [重み] - [デモ]

✨ 主な機能

• 高品質な音声合成を実現します。
• 多様な音声タイプ（複数言語の音声、環境音、楽器音など）に対応しています。
• 高速な推論速度を実現するためのカスタムCUDAカーネルを提供しています。

🚀 クイックスタート

このセクションでは、BigVGANの基本的な使い方を説明します。

📦 インストール

このリポジトリには、事前学習されたBigVGANのチェックポイントが含まれており、推論を簡単に行うことができます。また、huggingface_hubのサポートも追加されています。

モデルの学習や追加機能に興味がある場合は、公式のGitHubリポジトリを参照してください：https://github.com/NVIDIA/BigVGAN

git lfs install
git clone https://huggingface.co/nvidia/bigvgan_v2_24khz_100band_256x

💻 使用例

基本的な使用法

以下の例では、Hugging Face Hubから事前学習されたBigVGANジェネレータをロードし、入力波形からメルスペクトログラムを計算し、メルスペクトログラムをモデルの入力として合成波形を生成する方法を説明します。

device = 'cuda'

import torch
import bigvgan
import librosa
from meldataset import get_mel_spectrogram

# モデルをインスタンス化します。オプションでuse_cuda_kernel=Trueを設定すると、高速な推論が可能です。
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_24khz_100band_256x', use_cuda_kernel=False)

# モデルの重み正規化を削除し、評価モードに設定します。
model.remove_weight_norm()
model = model.eval().to(device)

# wavファイルをロードし、メルスペクトログラムを計算します。
wav_path = '/path/to/your/audio.wav'
wav, sr = librosa.load(wav_path, sr=model.h.sampling_rate, mono=True) # wavは形状が[T_time]で値が[-1, 1]のnp.ndarrayです。
wav = torch.FloatTensor(wav).unsqueeze(0) # wavは形状が[B(1), T_time]のFloatTensorです。

# 正解音声からメルスペクトログラムを計算します。
mel = get_mel_spectrogram(wav, model.h).to(device) # melは形状が[B(1), C_mel, T_frame]のFloatTensorです。

# メルから波形を生成します。
with torch.inference_mode():
    wav_gen = model(mel) # wav_genは形状が[B(1), 1, T_time]で値が[-1, 1]のFloatTensorです。
wav_gen_float = wav_gen.squeeze(0).cpu() # wav_genは形状が[1, T_time]のFloatTensorです。

# 生成された波形を16ビットのリニアPCMに変換することができます。
wav_gen_int16 = (wav_gen_float * 32767.0).numpy().astype('int16') # wav_genは現在形状が[1, T_time]でdtypeがint16のnp.ndarrayです。

高度な使用法

カスタムCUDAカーネルを使用して合成することができます。BigVGANをインスタンス化する際に、use_cuda_kernelパラメータを使用します。

import bigvgan
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_24khz_100band_256x', use_cuda_kernel=True)

初めて適用するときは、nvccとninjaを使用してカーネルをビルドします。ビルドが成功すると、カーネルはalias_free_activation/cuda/buildに保存され、モデルは自動的にカーネルをロードします。コードベースはCUDA 12.1でテストされています。

システムに両方がインストールされていること、およびシステムにインストールされたnvccのバージョンがPyTorchビルドで使用されているバージョンと一致することを確認してください。

詳細については、公式のGitHubリポジトリを参照してください：https://github.com/NVIDIA/BigVGAN?tab=readme-ov-file#using-custom-cuda-kernel-for-synthesis

📚 ドキュメント

事前学習済みモデル

Hugging Face Collectionsに事前学習済みモデルを提供しています。リストされたモデルリポジトリ内で、ジェネレータの重み（bigvgan_generator.ptという名前）とその識別器/オプティマイザの状態（bigvgan_discriminator_optimizer.ptという名前）のチェックポイントをダウンロードすることができます。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。