Wav2vec2 2 Bart Base

🚀 wav2vec2-2-bart-base

このモデルは、自動音声認識（Automatic Speech Recognition）に特化したモデルです。facebook/wav2vec2-base と bart-base を librispeech_asr - clean データセットでファインチューニングしたもので、評価セットで良好な結果を達成しています。

🚀 クイックスタート

この実験を再実行するには、このディレクトリをクローンして以下のコマンドを実行してください。

モデル作成

python create_model.py

実行

./run_librispeech.sh

✨ 主な機能

• 自動音声認識：音声データをテキストに変換することができます。
• ファインチューニング済み：librispeech_asr - clean データセットでファインチューニングされており、高精度な認識結果を提供します。

📦 インストール

上記のクイックスタートセクションに記載されているコマンドを実行することで、モデルを再実行するための環境をセットアップできます。

📚 ドキュメント

評価結果

このモデルは評価セットで以下の結果を達成しています。

• 損失 (Loss): 0.405
• 単語誤り率 (Wer): 0.0728

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

トレーニング結果

詳細なトレーニング結果については、Training Metrics Tab を参照してください。

フレームワークバージョン

• Transformers 4.15.0.dev0
• Pytorch 1.9.0+cu111
• Datasets 1.16.2.dev0
• Tokenizers 0.10.3

ウィジェット

以下のサンプル音声を使用してモデルを試すことができます。

• Librispeech sample 1
• Librispeech sample 2
• Common Voice sample