xls-r-300m-fr-0オープンソース自動音声認識モデル - 無料でフランス語音声を高精度でテキストに変換

Xls R 300m Fr 0

AlexNによって開発

これはfacebook/wav2vec2-xls-r-300mをCommon Voice 8.0フランス語データセットで微調整した自動音声認識(ASR)モデルで、フランス語音声からテキストへの変換タスクをサポートします。

ダウンロード数 24

リリース時間 : 3/2/2022

モデル概要

このモデルはフランス語音声認識タスク専用に設計されており、Common Voice 8.0フランス語データセットで良好な性能を示し、WERは36.81%です。

フランス語音声認識

フランス語に最適化された音声認識能力

大規模事前学習モデルベース

facebook/wav2vec2-xls-r-300mモデルを微調整しており、強力な音声特徴抽出能力を備えています

複数データセット検証

Common Voiceやロバスト音声イベントなど複数のデータセットで検証済み

フランス語音声からテキストへ変換

自動音声認識

異なるアクセントのフランス語音声処理

音声文字起こし

フランス語音声文字起こし

フランス語音声コンテンツをテキストに変換

WER 36.81% (Common Voice 8.0テストセット)

音声アシスタント

フランス語音声コマンド認識

フランス語音声アシスタントシステムでの音声コマンド認識に使用

このモデルは、MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - FRデータセットでfacebook/wav2vec2-xls-r-300mをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

このモデルは、自動音声認識タスクに使用できます。具体的な使用方法については、Hugging Faceのドキュメントを参照してください。

プロパティ	詳細
モデルタイプ	自動音声認識モデル
訓練データ	mozilla-foundation/common_voice_8_0

タスク	データセット	評価指標	値
音声認識	Common Voice 8.0 fr	テストWER	36.81
自動音声認識	Robust Speech Event - Dev Data	テストWER	35.55
自動音声認識	Robust Speech Event - Test Data	テストWER	39.94

訓練中に使用されたハイパーパラメータは以下の通りです。

訓練損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
4.3748	0.07	500	3.8784	1.0
2.8068	0.14	1000	2.8289	0.9826
1.6698	0.22	1500	0.8811	0.7127
1.3488	0.29	2000	0.5166	0.5369
1.2239	0.36	2500	0.4105	0.4741
1.1537	0.43	3000	0.3585	0.4448
1.1184	0.51	3500	0.3336	0.4292
1.0968	0.58	4000	0.3195	0.4180
1.0737	0.65	4500	0.3075	0.4141
1.0677	0.72	5000	0.3015	0.4089
1.0462	0.8	5500	0.2971	0.4077
1.0392	0.87	6000	0.2870	0.3997
1.0178	0.94	6500	0.2805	0.3963
0.992	1.01	7000	0.2748	0.3935
1.0197	1.09	7500	0.2691	0.3884
1.0056	1.16	8000	0.2682	0.3889
0.9826	1.23	8500	0.2647	0.3868
0.9815	1.3	9000	0.2603	0.3832
0.9717	1.37	9500	0.2561	0.3807
0.9605	1.45	10000	0.2523	0.3783
0.96	1.52	10500	0.2494	0.3788
0.9442	1.59	11000	0.2478	0.3760
0.9564	1.66	11500	0.2454	0.3733
0.9436	1.74	12000	0.2439	0.3747
0.938	1.81	12500	0.2411	0.3716
0.9353	1.88	13000	0.2397	0.3698
0.9271	1.95	13500	0.2388	0.3681