wav2vec2-xls-r-1b-hebrewオープンソース自動音声認識モデル - ヘブライ語の音声を正確に認識する

ホーム

Wav2vec2 Xls R 1b Hebrew

imvladikonによって開発

facebook/wav2vec2-xls-r-1bモデルをヘブライ語データセットで微調整した自動音声認識モデル

音声認識

Transformers

その他オープンソースライセンス:Apache-2.0 #ヘブライ語音声認識 #大規模モデルの微調整 #多GPU訓練

ダウンロード数 66

リリース時間 : 3/2/2022

モデル概要

このモデルはヘブライ語に最適化された自動音声認識(ASR)モデルで、Facebookのwav2vec2-xls-r-1bアーキテクチャを微調整して作成され、ヘブライ語の音声をテキストに変換するタスクに適しています。

モデル特徴

ヘブライ語最適化

ヘブライ語音声認識タスクに特化して微調整と最適化が行われています

大規模事前学習ベース

Facebookの10億パラメータのwav2vec2-xls-rモデルを微調整しています

効率的な訓練

多GPU分散訓練と混合精度訓練技術を採用しています

モデル能力

ヘブライ語音声認識

ロバストな音声イベント検出

音声をテキストに変換

使用事例

音声文字起こし

ヘブライ語会議記録

ヘブライ語の会議録音を自動的に文字起こしします

単語誤り率(WER)22.51%

ヘブライ語音声アシスタント

ヘブライ語音声アシスタントに音声認識機能を提供します

教育

ヘブライ語学習アプリ

ヘブライ語学習アプリの発音評価機能に使用されます

🚀 wav2vec2-xls-r-1b-hebrew

このモデルは、facebook/wav2vec2-xls-r-1b をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.3533
単語誤り率 (Wer): 0.2251

🚀 クイックスタート

このモデルは自動音声認識タスクに使用できます。以下に、評価セットでの結果を示します。

📚 ドキュメント

モデルの説明

このモデルは、facebook/wav2vec2-xls-r-1b をベースにファインチューニングされたものです。

想定される用途と制限

詳細な情報はありません。

学習と評価データ

詳細な情報はありません。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習率: 0.0003
学習バッチサイズ: 6
評価バッチサイズ: 6
シード: 42
分散タイプ: マルチGPU
勾配累積ステップ: 4
総学習バッチサイズ: 24
オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラタイプ: 線形
学習率スケジューラウォームアップステップ: 400
エポック数: 20.0
混合精度学習: Native AMP

学習結果

学習損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
3.3587	0.47	400	1.1883	0.8392
1.8377	0.95	800	0.8831	0.6852
1.7118	1.42	1200	0.8031	0.6566
1.6741	1.89	1600	0.7518	0.6104
1.6163	2.36	2000	0.6888	0.5591
1.5782	2.84	2400	0.6580	0.5165
1.5548	3.31	2800	0.6506	0.5184
1.5249	3.78	3200	0.6198	0.5028
1.5078	4.26	3600	0.5992	0.4932
1.4836	4.73	4000	0.5705	0.4651
1.4505	5.2	4400	0.5489	0.4508
1.4481	5.67	4800	0.5577	0.4562
1.4136	6.15	5200	0.5452	0.4371
1.3861	6.62	5600	0.5101	0.4087
1.3772	7.09	6000	0.4933	0.3951
1.3478	7.56	6400	0.4849	0.3922
1.3394	8.04	6800	0.4805	0.3892
1.3095	8.51	7200	0.4839	0.3834
1.306	8.98	7600	0.4611	0.3587
1.2707	9.46	8000	0.4545	0.3730
1.2626	9.93	8400	0.4516	0.3524
1.2412	10.4	8800	0.4314	0.3310
1.2456	10.87	9200	0.4401	0.3459
1.2081	11.35	9600	0.4399	0.3356
1.1998	11.82	10000	0.4195	0.3215
1.1826	12.29	10400	0.4221	0.3178
1.1573	12.77	10800	0.4098	0.3084
1.1416	13.24	11200	0.4086	0.3119
1.1174	13.71	11600	0.3854	0.2910
1.1048	14.18	12000	0.3859	0.2824
1.0748	14.66	12400	0.3854	0.2757
1.0697	15.13	12800	0.3740	0.2724
1.0477	15.6	13200	0.3693	0.2643
1.0356	16.08	13600	0.3727	0.2561
1.0083	16.55	14000	0.3652	0.2501
1.0	17.02	14400	0.3641	0.2457
0.9779	17.49	14800	0.3568	0.2409
0.9596	17.97	15200	0.3558	0.2376
0.946	18.44	15600	0.3591	0.2311
0.9389	18.91	16000	0.3540	0.2283
0.9173	19.39	16400	0.3552	0.2265
0.9122	19.86	16800	0.3535	0.2250