Xlsr Timit A0

🚀 XLSR-TIMIT-B0: TIMITで音素転写用にファインチューニングされたモデル

このモデルは、事前学習されたチェックポイント ginic/hyperparam_tuning_1_wav2vec2-large-xlsr-buckeye-ipa を利用し、TIMIT Darpa English Corpus でファインチューニングされており、英語の音声を音素表現に転写することができます。

🚀 クイックスタート

オーディオファイルを転写するには、このモデルを以下のように使用できます。

基本的な使用法

from transformers import AutoModelForCTC, AutoProcessor
import torch

# Load model and processor
model = AutoModelForCTC.from_pretrained("KoelLabs/xlsr-timit-b0")
processor = AutoProcessor.from_pretrained("KoelLabs/xlsr-timit-b0")

# Prepare input
audio_input = "path_to_your_audio_file.wav"  # Replace with your file
input_values = processor(audio_input, return_tensors="pt", sampling_rate=16000).input_values

# Retrieve logits
with torch.no_grad():
    logits = model(input_values).logits

# Decode predictions
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

✨ 主な機能

• 事前学習されたチェックポイントを利用し、TIMITコーパスでファインチューニングされている。
• 英語の音声を音素表現に転写することができる。

📚 ドキュメント

性能

• 訓練損失: 4.73
• 検証損失: 1.048
• テスト結果 (TIMITテストセット):
  • 平均加重距離: 18.06
  • 標準偏差 (加重距離): 12.9
  • 平均文字誤り率 (CER): 0.14
  • 標準偏差 (CER): 0.07

モデル情報

出力例

1. 予測: lizteɪkðɪsdɹɾiteɪbklɔθiðiklinizfɹmi 正解: lizteɪkðɪsdɹɾiteɪbəklɔtiðiklinizfɹmi 加重特徴編集距離: 7.875 CER: 0.0556

2. 予測: ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiɾimpɛɾikoʊts 正解: ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiŋinpɛɾikoʊts 加重特徴編集距離: 2.375 CER: 0.0588

制限事項

この音素転写モデルは、すべての方言や言語を網羅していない英語の音声コーパスでファインチューニングされています。未知の言語に対しては、性能が著しく低下する可能性があることを認識しています。将来的には、すべての人や言語に適したモデルやデータセットをリリースすることを目指しています。

📄 ライセンス

このモデルは、mpl-2.0ライセンスの下で提供されています。