Bigvgan Melspec

🚀 不同梅爾頻譜輸入的BigVGAN

本項目的BigVGAN檢查點基於https://huggingface.co/nvidia/bigvgan_v2_24khz_100band_256x 繼續訓練得到，輸入的梅爾頻譜由[vocos] 中的代碼生成。

🚀 快速開始

本項目的BigVGAN檢查點是在https://huggingface.co/nvidia/bigvgan_v2_24khz_100band_256x 的基礎上繼續訓練得到的，其輸入的梅爾頻譜由以下代碼生成：

class MelSpectrogramFeatures(FeatureExtractor):
    def __init__(self, sample_rate=24000, n_fft=1024, hop_length=256, n_mels=100, padding="center"):
        super().__init__()
        if padding not in ["center", "same"]:
            raise ValueError("Padding must be 'center' or 'same'.")
        self.padding = padding
        self.mel_spec = torchaudio.transforms.MelSpectrogram(
            sample_rate=sample_rate,
            n_fft=n_fft,
            hop_length=hop_length,
            n_mels=n_mels,
            center=padding == "center",
            power=1,
        )

    def forward(self, audio, **kwargs):
        if self.padding == "same":
            pad = self.mel_spec.win_length - self.mel_spec.hop_length
            audio = torch.nn.functional.pad(audio, (pad // 2, pad // 2), mode="reflect")
        mel = self.mel_spec(audio)
        features = safe_log(mel)
        return features

訓練時，segment_size 為 65536（保持不變），batch_size 為 24（Nvidia 團隊使用的是 32）。最終評估的 PESQ 為 4.340（Nvidia 檢查點在其自身的梅爾頻譜代碼上的 PESQ 為 4.362）。

📄 許可證

本項目採用 MIT 許可證，詳情請見 許可證鏈接。