Whisper Tiny Fleurs

🚀 whisper_tiny_fleurs

このモデルは、openai/whisper-tiny を /home/investigacion/disco4TB/workspace_pablo/firvox_whisper_research/finetunnig/dataset/dataset_parquet/dataset_1000x6_noFirVox_correctedpaths.parquet データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.4373
• 正解率: 0.87

📚 ドキュメント

モデルの概要

詳細情報は後日追加予定です。

想定される用途と制限事項

詳細情報は後日追加予定です。

学習と評価データ

詳細情報は後日追加予定です。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 3e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 32
• シード: 0
• 分散学習タイプ: マルチGPU
• デバイス数: 2
• 勾配蓄積ステップ数: 2
• 総学習バッチサイズ: 64
• 総評価バッチサイズ: 64
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラタイプ: 線形
• 学習率スケジューラのウォームアップ比率: 0.1
• エポック数: 3.0
• 混合精度学習: Native AMP

学習結果

フレームワークのバージョン

• Transformers 4.44.1
• Pytorch 1.11.0
• Datasets 2.19.1
• Tokenizers 0.19.1

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。

📦 モデル情報