Wav2vec2 Xls R 300m Mrbrown Finetune1

🚀 wav2vec2-xls-r-300m_Mrbrown_finetune1

このモデルは、uob_singlishデータセットでfacebook/wav2vec2-xls-r-300mをファインチューニングしたバージョンです。

🚀 クイックスタート

今回は自作のデータセット（「https://www.youtube.com/watch?v=a2ZOTD3R7JI」の音声をスライスに分割し、対応する文字起こしを記述したもの、合計4分）を使用しました。しかし、単語誤り率（Wer）が1のままである理由は不明です。ただ、前回同じ事前学習モデルと標準のSinglishコーパスを使用してファインチューニングしたところ、良好な結果が得られたことから、おそらくデータセットの問題であると考えられます（詳細はRuiqianLi/wav2vec2-large-xls-r-300m-singlish-colabを参照）。

評価セットでは以下の結果を達成しています：

• 損失: 3.0927
• 単語誤り率（Wer）: 1.0

🔧 技術詳細

トレーニングのハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました：

• 学習率: 0.01
• トレーニングバッチサイズ: 2
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 2
• 総トレーニングバッチサイズ: 4
• オプティマイザ: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 500
• エポック数: 100
• 混合精度トレーニング: Native AMP

トレーニング結果

フレームワークのバージョン

• Transformers 4.11.3
• Pytorch 1.10.0+cu113
• Datasets 1.18.3
• Tokenizers 0.10.3

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。