Xlsr Timit A0

🚀 XLSR-TIMIT-B0：在TIMIT上微調用於音素轉錄

本項目的模型基於預訓練的檢查點，在TIMIT語料庫上進行微調，能夠將英語音頻準確轉錄為音素表示，為語音處理和分析提供了有力支持。

🚀 快速開始

要使用此模型轉錄音頻文件，可按以下步驟操作：

基礎用法

from transformers import AutoModelForCTC, AutoProcessor
import torch

# 加載模型和處理器
model = AutoModelForCTC.from_pretrained("KoelLabs/xlsr-timit-b0")
processor = AutoProcessor.from_pretrained("KoelLabs/xlsr-timit-b0")

# 準備輸入
audio_input = "path_to_your_audio_file.wav"  # 替換為你的文件路徑
input_values = processor(audio_input, return_tensors="pt", sampling_rate=16000).input_values

# 獲取對數概率
with torch.no_grad():
    logits = model(input_values).logits

# 解碼預測結果
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

✨ 主要特性

• 基於預訓練檢查點 ginic/hyperparam_tuning_1_wav2vec2-large-xlsr-buckeye-ipa 進行微調。
• 在 TIMIT Darpa English Corpus 上進行訓練，可將英語音頻轉錄為音素表示。

📚 詳細文檔

性能表現

• 訓練損失：4.73
• 驗證損失：1.048
• 測試結果（TIMIT測試集）：
  • 平均加權距離：18.06
  • 加權距離標準差：12.9
  • 平均字符錯誤率（CER）：0.14
  • 字符錯誤率標準差：0.07

模型信息

示例輸出

1. 預測結果：lizteɪkðɪsdɹɾiteɪbklɔθiðiklinizfɹmi 真實結果：lizteɪkðɪsdɹɾiteɪbəklɔtiðiklinizfɹmi 加權特徵編輯距離：7.875 字符錯誤率：0.0556

2. 預測結果：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiɾimpɛɾikoʊts 真實結果：ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiŋinpɛɾikoʊts 加權特徵編輯距離：2.375 字符錯誤率：0.0588

🔧 技術細節

侷限性

此音素轉錄模型是在一個英語語音語料庫上進行微調的，該語料庫並未涵蓋所有方言和語言。我們承認，對於任何未見過的語言，該模型的性能可能會顯著下降。我們的目標是在未來發布能夠更好地服務於所有人群和語言的模型和數據集。

📄 許可證

本項目採用 MPL-2.0 許可證。