Xlsr Timit B0

🚀 XLSR-TIMIT-B0：針對音素轉錄在TIMIT上進行微調

本模型利用預訓練檢查點 ginic/data_seed_4_wav2vec2-large-xlsr-buckeye-ipa，並在 TIMIT Darpa英語語料庫 上進行微調，用於將英語音頻轉錄為音素表示。

所有代碼均可在 Github 上獲取。

該模型在英語的xlsr國際音標轉錄方面優於當前所有同類模型。

✨ 主要特性

• 基於預訓練模型微調，在TIMIT語料庫上進行針對性訓練，適用於英語音頻的音素轉錄。
• 代碼開源，方便開發者使用和進一步研究。
• 在各項性能指標上表現出色，超越當前同類模型。

📦 安裝指南

暫未提及安裝相關內容，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoModelForCTC, AutoProcessor
import torch

# Load model and processor
model = AutoModelForCTC.from_pretrained("KoelLabs/xlsr-timit-b0")
processor = AutoProcessor.from_pretrained("KoelLabs/xlsr-timit-b0")

# Prepare input
audio_input = "path_to_your_audio_file.wav"  # Replace with your file
input_values = processor(audio_input, return_tensors="pt", sampling_rate=16000).input_values

# Retrieve logits
with torch.no_grad():
    logits = model(input_values).logits

# Decode predictions
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

📚 詳細文檔

性能表現

• 訓練損失：1.254
• 驗證損失：0.267
• 測試結果（TIMIT測試集）：
  • 平均加權距離：13.309375
  • 加權距離標準差：9.87
  • 平均字符錯誤率（CER）：0.113
  • 字符錯誤率標準差：0.06

模型信息

示例輸出

1. 預測結果：lizteɪkðɪsdɹɾiteɪbklɔθiðiklinizfɹmi
   真實標籤：lizteɪkðɪsdɹɾiteɪbəklɔtiðiklinizfɹmi
   加權特徵編輯距離：7.875
   字符錯誤率：0.0556

2. 預測結果：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiɾimpɛɾikoʊts
   真實標籤：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiŋinpɛɾikoʊts
   加權特徵編輯距離：2.375
   字符錯誤率：0.0588

侷限性

本音素轉錄模型是在一個不涵蓋所有方言和語言的英語語音語料庫上進行微調的。我們承認，對於任何未見過的語言，該模型的性能可能會顯著下降。我們的目標是在未來發布能夠更好地服務於所有人群和語言的模型和數據集。

📄 許可證

本模型使用的許可證為mpl - 2.0。