Malaya Speech Mrbrown Finetune1

🚀 malaya-speech_Mrbrown_finetune1

このモデルは、uob_singlishデータセット上でmalay-huggingface/wav2vec2-xls-r-300m-mixedをファインチューニングしたバージョンです。

今回は自作データセット（「https://www.youtube.com/watch?v=a2ZOTD3R7JI」の音声を切り出し、対応する文字起こしを作成。合計4分）を使用しましたが、ファインチューニングの結果が非常に悪かったです。これは、学習/ファインチューニングデータセットが高品質である必要がある（少なくとも数時間分）ことを意味するのかもしれません。あるいは、学習率を高く設定しすぎた（0.01）ことが原因かもしれません。重要な要因を引き続き探しています。

評価セットでは、以下の結果を達成しています。

• 損失: 3.8458
• 単語誤り率（Wer）: 1.01

📚 ドキュメント

モデルの説明

詳細情報は未提供です。

想定される用途と制限

詳細情報は未提供です。

学習と評価データ

詳細情報は未提供です。

🔧 技術詳細

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率（learning_rate）: 0.01
• 学習バッチサイズ（train_batch_size）: 2
• 評価バッチサイズ（eval_batch_size）: 8
• 乱数シード（seed）: 42
• 勾配累積ステップ数（gradient_accumulation_steps）: 2
• 総学習バッチサイズ（total_train_batch_size）: 4
• オプティマイザ（optimizer）: Adam（betas=(0.9,0.999)、epsilon=1e-08）
• 学習率スケジューラの種類（lr_scheduler_type）: 線形（linear）
• 学習率スケジューラのウォームアップステップ数（lr_scheduler_warmup_steps）: 500
• エポック数（num_epochs）: 100
• 混合精度学習（mixed_precision_training）: ネイティブAMP

学習結果

フレームワークバージョン

• Transformers: 4.11.3
• Pytorch: 1.10.0+cu113
• Datasets: 1.18.3
• Tokenizers: 0.10.3