英語口音識別開源模型 - 免費部署精準分類英愛兩國英語口音

首頁

English Speaker Accent Recognition Using Transfer Learning

由keras-io開發

該模型通過從Yamnet提取特徵，對英國和愛爾蘭口音進行分類。

音頻分類 #Yamnet特徵提取 #多方言分類 #音頻嵌入分析

下載量 71

發布時間 : 6/7/2022

模型概述

基於Yamnet特徵提取的密集模型，用於區分英國和愛爾蘭地區的英語口音。模型使用眾包高質量語音數據集訓練，包含來自120名志願者的超過31小時的錄音。

模型特點

遷移學習架構

利用預訓練的Yamnet模型提取音頻特徵，顯著提升小數據集上的分類性能

高質量數據集

使用包含17,877個高質量音頻文件的數據集，覆蓋英國和愛爾蘭多個地區的口音

穩健的模型結構

採用4個密集隱藏層與Dropout層組合，有效防止過擬合

模型能力

英語口音識別

音頻特徵提取

方言分類

使用案例

語音分析

口音識別系統

識別說話者的地域口音特徵

驗證集準確率50%，AUC 0.8909

語音助手優化

根據不同口音優化語音助手的識別效果

教育科技

語言學習輔助

幫助語言學習者識別和模仿特定口音

🚀 tf-keras 口音分類模型

本項目使用 Yamnet 進行特徵提取，實現對英國和愛爾蘭口音的分類。通過該模型，可以高效、準確地識別不同地區的英語口音，為語音處理和語言研究提供有力支持。

📚 詳細文檔

模型描述

此模型藉助 Yamnet 進行特徵提取，實現對英國和愛爾蘭口音的分類。

Yamnet 模型

Yamnet 是一個在 AudioSet 數據集上訓練的音頻事件分類器，用於從 AudioSet 本體中預測音頻事件。它可在 TensorFlow Hub 上獲取。

Yamnet 接受採樣率為 16 kHz 的一維音頻樣本張量。模型輸出一個三元組：

形狀為 (N, 521) 的得分，表示 521 個類別的得分。
形狀為 (N, 1024) 的嵌入向量。
整個音頻幀的對數梅爾頻譜圖。

我們將使用從音頻樣本中提取的嵌入向量作為密集模型的輸入。

有關 Yamnet 的更多詳細信息，請參考其 TensorFlow Hub 頁面。

密集模型

我們使用的密集模型包括：

輸入層：Yamnet 分類器的嵌入輸出。
4 個密集隱藏層和 4 個丟棄層。
輸出密集層。

訓練和評估數據

使用的數據集是 Crowdsourced high-quality UK and Ireland English Dialect speech data set，該數據集包含 17,877 個高質量音頻 wav 文件。

此數據集包含來自 120 名志願者的超過 31 小時的錄音，這些志願者自稱是英格蘭南部、中部、北部、威爾士、蘇格蘭和愛爾蘭的英語母語者。

更多信息，請參考上述鏈接或以下論文：Open-source Multi-speaker Corpora of the English Accents in the British Isles

訓練過程

訓練超參數

優化器	學習率	衰減率	beta_1	beta_2	epsilon	amsgrad	訓練精度
Adam	1.9644e-05	0.0	0.9	0.999	1e-07	False	float32

訓練指標

輪數	訓練損失	訓練準確率	訓練 AUC
1	10.614	0.343	0.759
2	9.378	0.396	0.806
3	8.993	0.422	0.821
4	8.768	0.433	0.829
5	8.636	0.438	0.833
6	8.514	0.442	0.837
7	8.432	0.444	0.839
8	8.339	0.446	0.841
9	8.270	0.448	0.843
10	8.202	0.449	0.845
11	8.141	0.451	0.847
12	8.095	0.452	0.849
13	8.029	0.454	0.851
14	7.982	0.454	0.852
15	7.935	0.456	0.853
16	7.896	0.456	0.854
17	7.846	0.459	0.856
18	7.809	0.460	0.857
19	7.763	0.460	0.858
20	7.720	0.462	0.860
21	7.688	0.463	0.860
22	7.640	0.464	0.861
23	7.593	0.467	0.863
24	7.579	0.467	0.863
25	7.552	0.468	0.864
26	7.512	0.468	0.865
27	7.477	0.469	0.866
28	7.434	0.470	0.867
29	7.420	0.471	0.868
30	7.374	0.471	0.868
31	7.352	0.473	0.869
32	7.323	0.474	0.870
33	7.274	0.475	0.871
34	7.253	0.476	0.871
35	7.221	0.477	0.872
36	7.179	0.480	0.873
37	7.155	0.481	0.874
38	7.141	0.481	0.874
39	7.108	0.482	0.875
40	7.067	0.483	0.876
41	7.060	0.483	0.876
42	7.019	0.485	0.877
43	6.998	0.484	0.877
44	6.974	0.486	0.878
45	6.947	0.487	0.878
46	6.921	0.488	0.879
47	6.875	0.490	0.880
48	6.860	0.490	0.880
49	6.843	0.491	0.881
50	6.811	0.492	0.881
51	6.783	0.494	0.882
52	6.764	0.494	0.882
53	6.719	0.497	0.883
54	6.693	0.497	0.884
55	6.682	0.498	0.884
56	6.653	0.497	0.884
57	6.630	0.499	0.885
58	6.596	0.500	0.885
59	6.577	0.500	0.886
60	6.546	0.501	0.886
61	6.517	0.502	0.887
62	6.514	0.504	0.887
63	6.483	0.504	0.888
64	6.428	0.506	0.888
65	6.424	0.507	0.889
66	6.412	0.508	0.889
67	6.388	0.507	0.889
68	6.342	0.509	0.890
69	6.309	0.510	0.891
70	6.300	0.510	0.891
71	6.279	0.512	0.892
72	6.258	0.510	0.892
73	6.242	0.513	0.892
74	6.206	0.514	0.893
75	6.189	0.516	0.893
76	6.164	0.517	0.894
77	6.134	0.517	0.894
78	6.120	0.517	0.894
79	6.081	0.520	0.895
80	6.090	0.518	0.895
81	6.052	0.521	0.896
82	6.028	0.521	0.896
83	5.991	0.521	0.897
84	5.974	0.524	0.897
85	5.964	0.524	0.897
86	5.951	0.524	0.897
87	5.940	0.524	0.898
88	5.891	0.525	0.899
89	5.870	0.526	0.899
90	5.856	0.528	0.899
91	5.831	0.528	0.900
92	5.808	0.529	0.900
93	5.796	0.529	0.900
94	5.770	0.530	0.901
95	5.763	0.529	0.901
96	5.749	0.530	0.901
97	5.742	0.530	0.901
98	5.705	0.531	0.902
99	5.694	0.533	0.902
100	5.671	0.534	0.903