Xlsr Timit B0

🚀 XLSR-TIMIT-B0: TIMITで音素転写用にファインチューニングされたモデル

このモデルは、事前学習されたチェックポイント ginic/data_seed_4_wav2vec2-large-xlsr-buckeye-ipa を利用し、TIMIT Darpa English Corpus でファインチューニングされており、英語の音声を音素表現に転写します。

すべてのコードは Github で公開されています。

このモデルは、現在のすべての英語用のxlsr IPA転写モデルを上回る性能を発揮します。

🚀 クイックスタート

このモデルを使用して音声ファイルを転写するには、以下のようにします。

基本的な使用法

from transformers import AutoModelForCTC, AutoProcessor
import torch

# Load model and processor
model = AutoModelForCTC.from_pretrained("KoelLabs/xlsr-timit-b0")
processor = AutoProcessor.from_pretrained("KoelLabs/xlsr-timit-b0")

# Prepare input
audio_input = "path_to_your_audio_file.wav"  # Replace with your file
input_values = processor(audio_input, return_tensors="pt", sampling_rate=16000).input_values

# Retrieve logits
with torch.no_grad():
    logits = model(input_values).logits

# Decode predictions
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

✨ 主な機能

• 事前学習されたチェックポイントを利用し、TIMITデータセットでファインチューニングされた英語の音声転写モデルです。
• 現在のすべての英語用のxlsr IPA転写モデルを上回る性能を発揮します。

📚 ドキュメント

性能

• 訓練損失: 1.254
• 検証損失: 0.267
• テスト結果 (TIMITテストセット):
  • 平均重み付き距離: 13.309375
  • 標準偏差 (重み付き距離): 9.87
  • 平均文字誤り率 (CER): 0.113
  • 標準偏差 (CER): 0.06

モデル情報

出力例

1. 予測: lizteɪkðɪsdɹɾiteɪbklɔθiðiklinizfɹmi 正解: lizteɪkðɪsdɹɾiteɪbəklɔtiðiklinizfɹmi 重み付き特徴編集距離: 7.875 CER: 0.0556

2. 予測: ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiɾimpɛɾikoʊts 正解: ɹænmʌðɹʔaʊtɹuhɹʔʌpɹɪŋiŋinpɛɾikoʊts 重み付き特徴編集距離: 2.375 CER: 0.0588

🔧 技術詳細

このモデルは、事前学習された ginic/data_seed_4_wav2vec2-large-xlsr-buckeye-ipa チェックポイントを利用し、TIMIT Darpa English Corpus でファインチューニングされています。

📄 ライセンス

このモデルは、mpl-2.0ライセンスの下で公開されています。

⚠️ 重要提示

この音素転写モデルは、すべての方言や言語を網羅していない英語の音声コーパスでファインチューニングされています。未知の言語に対しては、性能が著しく低下する可能性があります。将来的には、すべての人や言語に適したモデルやデータセットをリリースすることを目指しています。