Whisper Small Uz En Ru Lang Id

🚀 whisper-small-uz-en-ru-lang-id

本模型是基於openai/whisper-small在 "mozilla-foundation/common_voice_16_1"（烏茲別克語/英語/俄語）數據集上進行微調的版本。它在訓練過程中的驗證集上取得了以下成績：

• 損失率：0.2065
• 準確率：0.9747
• F1值：0.9746

在測試（評估）數據集上的準確率為92.4%。

🚀 快速開始

本模型是在特定數據集上對基礎模型進行微調得到的，可用於音頻分類任務。

📦 模型信息

💻 使用示例

基礎用法

# datasets for each language from the set {uz: Uzbek, en: English, ru: Russian}
common_voice_train_uz = load_dataset("mozilla-foundation/common_voice_16_1", "uz", split='train', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)
common_voice_train_ru = load_dataset("mozilla-foundation/common_voice_16_1", "ru", split='train', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)
common_voice_train_en = load_dataset("mozilla-foundation/common_voice_16_1", "en", split='train', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)
common_voice_valid_uz = load_dataset("mozilla-foundation/common_voice_16_1", "uz", split='validation', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)
common_voice_valid_ru = load_dataset("mozilla-foundation/common_voice_16_1", "ru", split='validation', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)
common_voice_valid_en = load_dataset("mozilla-foundation/common_voice_16_1", "en", split='validation', trust_remote_code=True, token=env('HUGGING_TOKEN'), streaming=True)

# code to shuffle and to take limited size of data. Rows per set: Train-24000, Validation-3000.
... 
# concatenate 3 datasets
common_voice['train'] = concatenate_datasets([common_voice_train_uz, common_voice_train_ru, common_voice_train_en])

🔧 技術細節

訓練過程

使用了Transformers庫中的Trainer進行訓練。訓練和評估過程的詳細信息記錄在以下GitHub倉庫的Jupyter筆記本中： https://github.com/fitlemon/whisper-small-uz-en-ru-lang-id

訓練超參數

以下是訓練過程中使用的超參數：

• 學習率：3e-05
• 訓練批次大小：2
• 評估批次大小：2
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：8
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身比例：0.1
• 訓練步數：9000
• 混合精度訓練：Native AMP

訓練結果

框架版本

• Transformers 4.38.2
• Pytorch 2.2.1+cu121
• Datasets 2.17.1
• Tokenizers 0.15.2

📄 許可證

本模型採用Apache-2.0許可證。