wav2vec2-xls-r-1b-hebrewオープンソース自動音声認識モデル - ヘブライ語の音声を正確に認識する

Home

Wav2vec2 Xls R 1b Hebrew

Developed by imvladikon

facebook/wav2vec2-xls-r-1bモデルをヘブライ語データセットで微調整した自動音声認識モデル

音声認識

Transformers

OtherOpen Source License:Apache-2.0 #ヘブライ語音声認識 #大規模モデルの微調整 #多GPU訓練

Downloads 66

Release Time : 3/2/2022

Model Overview

このモデルはヘブライ語に最適化された自動音声認識(ASR)モデルで、Facebookのwav2vec2-xls-r-1bアーキテクチャを微調整して作成され、ヘブライ語の音声をテキストに変換するタスクに適しています。

Model Features

ヘブライ語最適化

ヘブライ語音声認識タスクに特化して微調整と最適化が行われています

大規模事前学習ベース

Facebookの10億パラメータのwav2vec2-xls-rモデルを微調整しています

効率的な訓練

多GPU分散訓練と混合精度訓練技術を採用しています

Model Capabilities

ヘブライ語音声認識

ロバストな音声イベント検出

音声をテキストに変換

Use Cases

音声文字起こし

ヘブライ語会議記録

ヘブライ語の会議録音を自動的に文字起こしします

単語誤り率(WER)22.51%

ヘブライ語音声アシスタント

ヘブライ語音声アシスタントに音声認識機能を提供します

教育

ヘブライ語学習アプリ

ヘブライ語学習アプリの発音評価機能に使用されます

🚀 wav2vec2-xls-r-1b-hebrew

このモデルは、facebook/wav2vec2-xls-r-1b をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.3533
単語誤り率 (Wer): 0.2251

🚀 クイックスタート

このモデルは自動音声認識タスクに使用できます。以下に、評価セットでの結果を示します。

📚 ドキュメント

モデルの説明

このモデルは、facebook/wav2vec2-xls-r-1b をベースにファインチューニングされたものです。

想定される用途と制限

詳細な情報はありません。

学習と評価データ

詳細な情報はありません。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習率: 0.0003
学習バッチサイズ: 6
評価バッチサイズ: 6
シード: 42
分散タイプ: マルチGPU
勾配累積ステップ: 4
総学習バッチサイズ: 24
オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラタイプ: 線形
学習率スケジューラウォームアップステップ: 400
エポック数: 20.0
混合精度学習: Native AMP

学習結果

学習損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
3.3587	0.47	400	1.1883	0.8392
1.8377	0.95	800	0.8831	0.6852
1.7118	1.42	1200	0.8031	0.6566
1.6741	1.89	1600	0.7518	0.6104
1.6163	2.36	2000	0.6888	0.5591
1.5782	2.84	2400	0.6580	0.5165
1.5548	3.31	2800	0.6506	0.5184
1.5249	3.78	3200	0.6198	0.5028
1.5078	4.26	3600	0.5992	0.4932
1.4836	4.73	4000	0.5705	0.4651
1.4505	5.2	4400	0.5489	0.4508
1.4481	5.67	4800	0.5577	0.4562
1.4136	6.15	5200	0.5452	0.4371
1.3861	6.62	5600	0.5101	0.4087
1.3772	7.09	6000	0.4933	0.3951
1.3478	7.56	6400	0.4849	0.3922
1.3394	8.04	6800	0.4805	0.3892
1.3095	8.51	7200	0.4839	0.3834
1.306	8.98	7600	0.4611	0.3587
1.2707	9.46	8000	0.4545	0.3730
1.2626	9.93	8400	0.4516	0.3524
1.2412	10.4	8800	0.4314	0.3310
1.2456	10.87	9200	0.4401	0.3459
1.2081	11.35	9600	0.4399	0.3356
1.1998	11.82	10000	0.4195	0.3215
1.1826	12.29	10400	0.4221	0.3178
1.1573	12.77	10800	0.4098	0.3084
1.1416	13.24	11200	0.4086	0.3119
1.1174	13.71	11600	0.3854	0.2910
1.1048	14.18	12000	0.3859	0.2824
1.0748	14.66	12400	0.3854	0.2757
1.0697	15.13	12800	0.3740	0.2724
1.0477	15.6	13200	0.3693	0.2643
1.0356	16.08	13600	0.3727	0.2561
1.0083	16.55	14000	0.3652	0.2501
1.0	17.02	14400	0.3641	0.2457
0.9779	17.49	14800	0.3568	0.2409
0.9596	17.97	15200	0.3558	0.2376
0.946	18.44	15600	0.3591	0.2311
0.9389	18.91	16000	0.3540	0.2283
0.9173	19.39	16400	0.3552	0.2265
0.9122	19.86	16800	0.3535	0.2250