wav2vec2-large-xls-r-300m-pt-colabオープンソースモデル - 無料でポルトガル語の音声を正確にテキストに変換

ホーム

Wav2vec2 Large Xls R 300m Pt Colab

robertodtgによって開発

このモデルは、facebook/wav2vec2-xls-r-300mをcommon_voice_9_0データセットでファインチューニングした音声認識モデルで、ポルトガル語の音声からテキストへの変換タスクをサポートします。

音声認識

Transformers

オープンソースライセンス:Apache-2.0 #ポルトガル語音声認識 #大規模モデルのファインチューニング #低単語誤り率

ダウンロード数 107

リリース時間 : 6/24/2022

モデル概要

これはポルトガル語に最適化された音声認識モデルで、wav2vec2-xls-r-300mアーキテクチャを基にファインチューニングされ、Common Voice 9.0データセットでトレーニングされており、ポルトガル語の音声からテキストへの変換タスクに適しています。

モデル特徴

ポルトガル語最適化

ポルトガル語音声認識タスクに特化してファインチューニングされています

大規模事前学習モデルベース

facebook/wav2vec2-xls-r-300m事前学習モデルを基にしており、強力な音声特徴抽出能力を有します

比較的軽量

3億パラメータ規模で、性能を維持しながら比較的軽量です

モデル能力

ポルトガル語音声認識

音声からテキストへの変換

自動音声認識

使用事例

音声書き起こし

ポルトガル語音声書き起こし

ポルトガル語の音声内容をテキストに変換します

評価データセットで17.36%の単語誤り率を達成

音声アシスタント

ポルトガル語音声コマンド認識

ポルトガル語音声アシスタントや音声制御アプリケーションの構築に使用できます

🚀 wav2vec2-large-xls-r-300m-pt-colab

このモデルは、facebook/wav2vec2-xls-r-300m を common_voice_9_0 データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.2975
単語誤り率 (Wer): 0.1736

📚 ドキュメント

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

学習率: 0.0003
学習バッチサイズ: 16
評価バッチサイズ: 8
シード: 42
勾配累積ステップ: 2
総学習バッチサイズ: 32
オプティマイザ: Adam (ベータ=(0.9,0.999)、イプシロン=1e-08)
学習率スケジューラの種類: 線形
学習率スケジューラのウォームアップステップ: 500
エポック数: 30
混合精度学習: Native AMP

学習結果

学習損失	エポック	ステップ	検証損失	単語誤り率 (Wer)
5.179	0.49	400	1.4554	0.9349
0.7545	0.98	800	0.5594	0.5174
0.4485	1.47	1200	0.3964	0.3749
0.4118	1.96	1600	0.3547	0.3172
0.3282	2.45	2000	0.3372	0.3061
0.3199	2.94	2400	0.3466	0.2910
0.2847	3.44	2800	0.3651	0.3310
0.2713	3.93	3200	0.3509	0.3016
0.2414	4.42	3600	0.3451	0.2908
0.2473	4.91	4000	0.3253	0.2747
0.2168	5.4	4400	0.3243	0.2680
0.219	5.89	4800	0.3067	0.2540
0.196	6.38	5200	0.3268	0.2824
0.1934	6.87	5600	0.3252	0.2736
0.1808	7.36	6000	0.3422	0.2737
0.177	7.85	6400	0.3292	0.2707
0.1626	8.34	6800	0.3089	0.2524
0.1605	8.83	7200	0.3062	0.2471
0.1505	9.32	7600	0.3229	0.2474
0.1491	9.82	8000	0.3098	0.2491
0.1433	10.31	8400	0.3449	0.2681
0.1431	10.8	8800	0.3439	0.2532
0.1349	11.29	9200	0.3112	0.2413
0.1236	11.78	9600	0.3248	0.2378
0.1253	12.27	10000	0.3393	0.2394
0.1195	12.76	10400	0.3050	0.2336
0.1194	13.25	10800	0.3494	0.2550
0.1125	13.74	11200	0.3332	0.2395
0.1063	14.23	11600	0.3134	0.2365
0.1044	14.72	12000	0.3101	0.2303
0.0999	15.21	12400	0.3162	0.2248
0.0986	15.71	12800	0.3183	0.2260
0.0958	16.2	13200	0.3300	0.2279
0.0907	16.69	13600	0.3136	0.2260
0.0875	17.18	14000	0.3492	0.2203
0.0823	17.67	14400	0.3214	0.2259
0.0839	18.16	14800	0.3194	0.2145
0.0783	18.65	15200	0.3122	0.2180
0.0789	19.14	15600	0.3158	0.2127
0.0732	19.63	16000	0.3076	0.2109
0.0715	20.12	16400	0.3216	0.2150
0.0649	20.61	16800	0.2958	0.2051
0.0647	21.1	17200	0.3022	0.2014
0.0649	21.59	17600	0.3045	0.2033
0.0621	22.09	18000	0.3194	0.2035
0.0561	22.58	18400	0.3197	0.2022
0.0582	23.07	18800	0.3109	0.1978
0.0533	23.56	19200	0.3121	0.1932
0.0515	24.05	19600	0.3125	0.1939
0.0484	24.54	20000	0.3081	0.1908
0.0485	25.03	20400	0.3042	0.1896
0.0444	25.52	20800	0.3038	0.1886
0.0426	26.01	21200	0.2985	0.1868
0.0415	26.5	21600	0.3066	0.1858
0.0398	26.99	22000	0.3117	0.1828
0.0397	27.48	22400	0.2980	0.1795
0.0394	27.97	22800	0.2950	0.1791
0.0364	28.47	23200	0.3025	0.1773
0.0365	28.96	23600	0.3022	0.1747
0.0376	29.45	24000	0.2978	0.1738
0.0344	29.94	24400	0.2975	0.1736