Xlsr Timit A0

🚀 XLSR-TIMIT-B0：在TIMIT上微调用于音素转录

本项目的模型基于预训练的检查点，在TIMIT语料库上进行微调，能够将英语音频准确转录为音素表示，为语音处理和分析提供了有力支持。

🚀 快速开始

要使用此模型转录音频文件，可按以下步骤操作：

基础用法

from transformers import AutoModelForCTC, AutoProcessor
import torch

# 加载模型和处理器
model = AutoModelForCTC.from_pretrained("KoelLabs/xlsr-timit-b0")
processor = AutoProcessor.from_pretrained("KoelLabs/xlsr-timit-b0")

# 准备输入
audio_input = "path_to_your_audio_file.wav"  # 替换为你的文件路径
input_values = processor(audio_input, return_tensors="pt", sampling_rate=16000).input_values

# 获取对数概率
with torch.no_grad():
    logits = model(input_values).logits

# 解码预测结果
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

✨ 主要特性

• 基于预训练检查点 ginic/hyperparam_tuning_1_wav2vec2-large-xlsr-buckeye-ipa 进行微调。
• 在 TIMIT Darpa English Corpus 上进行训练，可将英语音频转录为音素表示。

📚 详细文档

性能表现

• 训练损失：4.73
• 验证损失：1.048
• 测试结果（TIMIT测试集）：
  • 平均加权距离：18.06
  • 加权距离标准差：12.9
  • 平均字符错误率（CER）：0.14
  • 字符错误率标准差：0.07

模型信息

示例输出

1. 预测结果：lizteɪkðɪsdɹɾiteɪbklɔθiðiklinizfɹmi 真实结果：lizteɪkðɪsdɹɾiteɪbəklɔtiðiklinizfɹmi 加权特征编辑距离：7.875 字符错误率：0.0556

2. 预测结果：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiɾimpɛɾikoʊts 真实结果：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiŋinpɛɾikoʊts 加权特征编辑距离：2.375 字符错误率：0.0588

🔧 技术细节

局限性

此音素转录模型是在一个英语语音语料库上进行微调的，该语料库并未涵盖所有方言和语言。我们承认，对于任何未见过的语言，该模型的性能可能会显著下降。我们的目标是在未来发布能够更好地服务于所有人群和语言的模型和数据集。

📄 许可证

本项目采用 MPL-2.0 许可证。