Xcodec2

🚀 XCodec2 - 音声トークナイザ

XCodec2は、音声トークナイザで、単一ベクトル量子化、毎秒50トークンの処理、多言語音声セマンティクスのサポートと高品質な音声再構築といった機能を提供します。

🚀 クイックスタート

論文情報

• LLaSA: Scaling Train Time and Inference Time Compute for LLaMA based Speech Synthesis
• Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model (AAAI 2025, xcodec 1.0)

最新情報

• 更新 (2025-02-13): Llasaファインチューニングの手順を追加しました。
• 更新 (2025-02-07): 論文が公開されました！

論文リンク

主な機能

• 単一ベクトル量子化
• 毎秒50トークンの処理
• 多言語音声セマンティクスのサポートと高品質な音声再構築

インストール

xcodec2を使用するには、まずインストールする必要があります。以下のコマンドを使用してインストールできます。

conda create -n xcodec2 python=3.9
conda activate xcodec2
pip install xcodec2  (コーデック推論とllasaのファインチューニングには`xcodec2==0.1.5`を使用します。不要な依存関係を削除しており、私のテストでは正常に動作します。ただし、他の問題が発生する可能性もあります。より安定した動作が必要な場合は、コーデックトレーニング時に正確にアラインする`xcodec2==0.1.3`の使用をおすすめします。)

使用例

基本的な使用法

import torch
import soundfile as sf
from transformers import AutoConfig

from xcodec2.modeling_xcodec2 import XCodec2Model

model_path = "HKUSTAudio/xcodec2"  

model = XCodec2Model.from_pretrained(model_path)
model.eval().cuda()   

wav, sr = sf.read("test.wav")   
wav_tensor = torch.from_numpy(wav).float().unsqueeze(0)  # Shape: (1, T)

with torch.no_grad():
   # Only 16khz speech
   # Only supports single input. For batch inference, please refer to the link below.
    vq_code = model.encode_code(input_waveform=wav_tensor)
    print("Code:", vq_code )  

    recon_wav = model.decode_code(vq_code).cpu()       # Shape: (1, 1, T')

sf.write("reconstructed.wav", recon_wav[0, 0, :].numpy(), sr)
print("Done! Check reconstructed.wav")

独自トレーニングやバッチ推論

独自のxcodec2をトレーニングしたり、バッチ推論や大規模なコード抽出を行う場合は、コードはこちらで公開されています。

📄 ライセンス

このプロジェクトはCC BY-NC 4.0ライセンスの下で提供されています。