Wav2vec2 Large Xlsr 53 Ft Cgn

🚀 Wav2Vec2-Large-XLSR-53-ft-CGN

このモデルは、facebook/wav2vec2-large-xlsr-53 モデルを Het Corpus Gesproken Nederlands のオランダ語の音声データで、CTCを用いてファインチューニングすることで作成されました。

🚀 クイックスタート

このモデルは、オランダ語の音声認識タスクに最適化されています。以下のように、Hugging FaceのTransformersライブラリを使って簡単に利用できます。

基本的な使用法

# このコードは元のコードとコメントを保持します。
from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
import torch
from datasets import load_dataset
import soundfile as sf

# モデルとプロセッサーをロード
processor = Wav2Vec2Processor.from_pretrained("jonatasgrosman/wav2vec2-large-xlsr-53-dutch")
model = Wav2Vec2ForCTC.from_pretrained("jonatasgrosman/wav2vec2-large-xlsr-53-dutch")

# 音声データをロード
def map_to_array(batch):
    speech, _ = sf.read(batch["file"])
    batch["speech"] = speech
    return batch

ds = load_dataset("common_voice", "nl", split="test[:2%]")
ds = ds.map(map_to_array)

# 音声を入力として推論
input_values = processor(ds["speech"][0], return_tensors="pt").input_values  # 音声をトークン化
logits = model(input_values).logits  # モデルの出力を取得
predicted_ids = torch.argmax(logits, dim=-1)  # 最も確率の高いトークンIDを取得
transcription = processor.decode(predicted_ids[0])  # トークンIDをテキストに変換
print(transcription)

高度な使用法

# 高度なシナリオでは、バッチ推論やハイパーパラメータの調整が必要になる場合があります。
# 例えば、複数の音声ファイルを一度に推論する場合は以下のようにします。

# 複数の音声データを入力として推論
input_values = processor(ds["speech"], return_tensors="pt", padding=True).input_values  # 音声をトークン化
logits = model(input_values).logits  # モデルの出力を取得
predicted_ids = torch.argmax(logits, dim=-1)  # 最も確率の高いトークンIDを取得
transcriptions = processor.batch_decode(predicted_ids)  # トークンIDをテキストに変換
for transcription in transcriptions:
    print(transcription)

📚 ドキュメント

モデルの詳細

モデルの利用方法

このモデルは、音声認識タスクに使用できます。具体的には、音声データを入力として受け取り、その音声に対応するテキストを出力します。

モデルの制限事項

このモデルはオランダ語の音声に特化しているため、他の言語の音声に対する性能は保証されません。また、音声の品質や環境ノイズなどの要因によって、認識精度が低下する場合があります。

📄 ライセンス

このモデルのライセンスについては、元のモデルである facebook/wav2vec2-large-xlsr-53 のライセンスに準拠します。詳細は Hugging Faceのモデルページ を参照してください。