Wav2vec2 Large Xls R 300m Bashkir Cv7 Opt

🚀 wav2vec2-large-xls-r-300m-bashkir-cv7_opt

このモデルは、MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - BAデータセットでfacebook/wav2vec2-xls-r-300mをファインチューニングしたものです。評価セットでは以下の結果を達成しています。

• 訓練損失: 0.268400
• 検証損失: 0.088252
• LMなしのWER: 0.085588
• LMありのWER: 0.04440795062008041
• LMありのCER: 0.010491234992390509

✨ 主な機能

• 自動音声認識タスクに対応しています。
• 特定の文字置換ルールを用いて文字数を削減しています。

📦 インストール

原文書にインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの説明

このモデルは、このjupiterノートブックを用いて訓練されました。

想定用途と制限事項

文字数を削減するために、以下の文字が置換または削除されています。

• 'я' -> 'йа'
• 'ю' -> 'йу'
• 'ё' -> 'йо'
• 'е' -> 'йэ'（最初の文字の場合）
• 'е' -> 'э'（それ以外の場合）
• 'ъ' -> 削除
• 'ь' -> 削除

したがって、正しいテキストを取得するには、逆変換を行い、言語モデルを使用する必要があります。

訓練と評価データ

詳細な情報は必要です。

訓練手順

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました。

• 学習率: 0.0001
• 訓練バッチサイズ: 32
• 評価バッチサイズ: 32
• シード: 42
• 勾配累積ステップ: 2
• 総訓練バッチサイズ: 64
• オプティマイザ: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラタイプ: 線形
• 学習率スケジューラウォームアップステップ: 300
• エポック数: 50
• 混合精度訓練: Native AMP

フレームワークバージョン

• Transformers 4.16.1
• Pytorch 1.10.0+cu113
• Datasets 1.18.2
• Tokenizers 0.10.3

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。