Xcodec2

🚀 XCodec2 - 语音分词器

XCodec2 是一款语音分词器，能够实现单向量量化，每秒处理 50 个标记，支持多语言语音语义并能进行高质量语音重建，为语音处理领域带来高效解决方案。

🚀 快速开始

安装

要使用 xcodec2，请确保已将其安装。可以使用以下命令进行安装：

conda create -n xcodec2 python=3.9
conda activate xcodec2
pip install xcodec2  (使用 `xcodec2==0.1.5` 进行编解码器推理和 Llasa 微调。我已经移除了不必要的依赖项，在我的测试中运行良好。不过，我不确定是否会出现其他问题。如果您希望更稳定，建议使用 `xcodec2==0.1.3`，它在我的编解码器训练中能准确对齐。)

使用示例

基础用法

import torch
import soundfile as sf
from transformers import AutoConfig

from xcodec2.modeling_xcodec2 import XCodec2Model

model_path = "HKUSTAudio/xcodec2"  

model = XCodec2Model.from_pretrained(model_path)
model.eval().cuda()   

wav, sr = sf.read("test.wav")   
wav_tensor = torch.from_numpy(wav).float().unsqueeze(0)  # 形状: (1, T)

with torch.no_grad():
   # 仅支持 16khz 语音
   # 仅支持单输入。批量推理请参考下面的链接。
    vq_code = model.encode_code(input_waveform=wav_tensor)
    print("代码:", vq_code )  

    recon_wav = model.decode_code(vq_code).cpu()       # 形状: (1, 1, T')

sf.write("reconstructed.wav", recon_wav[0, 0, :].numpy(), sr)
print("完成！查看 reconstructed.wav")

其他资源

如果您想训练自己的 xcodec2、进行批量推理或大规模代码提取，代码已在 此处 发布。

✨ 主要特性

• 单向量量化：采用单向量量化技术，提升处理效率。
• 每秒 50 个标记：具备高效的处理速度，每秒可处理 50 个标记。
• 多语言语音语义支持和高质量语音重建：支持多语言语音语义，同时能够实现高质量的语音重建。

📄 许可证

本项目采用 CC BY-NC 4.0 许可证。

🔗 相关论文

• LLaSA: Scaling Train Time and Inference Time Compute for LLaMA based Speech Synthesis
• Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model (AAAI 2025, xcodec 1.0)

论文链接

更新日志

• 2025-02-13：添加 Llasa 微调说明。
• 2025-02-07：我们的论文已发布！