Wav2vec2 Large 960h Lv60 Self With Wikipedia Lm

🚀 facebook/wav2vec2-large-960h-lv60-self とWikipedia言語モデルを組み合わせた強化モデル

このモデルは、facebook/wav2vec2-large-960h-lv60-self をWikipediaの言語モデルで強化したものです。音声認識の精度向上に役立ちます。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

必要なパッケージのインポート

from transformers import pipeline

パイプラインの初期化

pipe = pipeline("automatic-speech-recognition", model="gxbag/wav2vec2-large-960h-lv60-self-with-wikipedia-lm")

音声認識の実行

output = pipe("/path/to/audio.wav", chunk_length_s=30, stride_length_s=(6, 3))
print(output)

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline
pipe = pipeline("automatic-speech-recognition", model="gxbag/wav2vec2-large-960h-lv60-self-with-wikipedia-lm")
output = pipe("/path/to/audio.wav", chunk_length_s=30, stride_length_s=(6, 3))
print(output)

🔧 技術詳細

使用データセット

使用されたデータセットは wikipedia/20200501.en です。すべての記事が使用され、参照、外部リンク、括弧内のすべてのテキストがクリーニングされています。合計で8092546語のデータが含まれています。

言語モデルの構築

言語モデルはKenLMを使用して構築されました。これは5-gramモデルで、3-gram以上のシングルトンがすべて削除されています。以下のコマンドで構築されました。

kenlm/build/bin/lmplz -o 5 -S 120G --vocab_estimate 8092546 --text text.txt --arpa text.arpa --prune 0 0 1

📄 注意事項

⚠️ 重要提示

現在の transformers のバージョン（このモデルのリリース時点）では、パイプラインでストライドを使用すると、音声の最後の部分が切り捨てられます（この場合は3秒）。この問題を回避するには、音声の最後に3秒の無音を追加してください。この問題は transformers のGitHubバージョンで修正されています。