Wav2vec2 Xlsr 300m German Truecase

🚀 ドイツ語微調整版Wav2Vec2-XLS-R-300mモデル

このプロジェクトはCommon Voiceデータセットに基づき、facebook/wav2vec2-xls-r-300mモデルをドイツ語で微調整しています。このモデルを使用する際には、入力する音声のサンプリングレートが16kHzであることを確認してください。

ドイツ語では、大文字と小文字の区別が非常に重要です（例：「Sie」と「sie」）。モデルが正しい大文字と小文字を学習できるように、大文字と小文字を含む語彙表を使用してモデルを訓練しています。これにより、真の大文字処理（truecasing）などの後処理は必要ありません。

🚀 クイックスタート

コード例

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
import soundfile as sf
import torch

# モデルとプロセッサをロード
processor = Wav2Vec2Processor.from_pretrained("abnerh/wav2vec2-xlsr-300m-german-truecase")
model = Wav2Vec2ForCTC.from_pretrained("abnerh/wav2vec2-xlsr-300m-german-truecase")

speech, sr = sf.read('audio.wav') 
# トークン化を行う
input_values = processor(speech, return_tensors="pt", padding="longest").input_values  # バッチサイズは1

# 対数確率を取得
logits = model(input_values).logits

# 最大値を取得してデコード
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

# 文字起こし結果を表示
print(transcription)

💻 使用例

基本的な使用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
import soundfile as sf
import torch

# モデルとプロセッサをロード
processor = Wav2Vec2Processor.from_pretrained("abnerh/wav2vec2-xlsr-300m-german-truecase")
model = Wav2Vec2ForCTC.from_pretrained("abnerh/wav2vec2-xlsr-300m-german-truecase")

speech, sr = sf.read('audio.wav') 
# トークン化を行う
input_values = processor(speech, return_tensors="pt", padding="longest").input_values  # バッチサイズは1

# 対数確率を取得
logits = model(input_values).logits

# 最大値を取得してデコード
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

# 文字起こし結果を表示
print(transcription)

高度な使用法

現時点で高度な使用例はありません。上記の基本的な使用法を基に拡張することができます。

📚 ドキュメント

予測結果の比較

⚠️ 重要な注意事項

このモデルを使用する際には、入力する音声のサンプリングレートが16kHzであることを確認してください。

💡 使用上のヒント

ドイツ語では大文字と小文字の区別が重要ですが、このモデルは大文字と小文字の情報を考慮しているため、真の大文字処理などの後処理は必要ありません。