English Speaker Accent Recognition Using Transfer Learning

🚀 tf-keras

このモデルは、Yamnet からの特徴抽出を利用して、イギリスとアイルランドのアクセントを分類します。

🚀 クイックスタート

このモデルは、Yamnetを用いて音声サンプルから特徴を抽出し、それを入力として密結合モデルでアクセントを分類します。以下に各モデルの詳細を説明します。

📚 ドキュメント

Yamnetモデル

Yamnetは、AudioSetデータセットで学習された音声イベント分類器で、AudioSetオントロジーから音声イベントを予測します。TensorFlow Hubで利用可能です。 Yamnetは、サンプルレート16kHzの1次元音声サンプルテンソルを入力として受け取ります。 出力として、モデルは3要素のタプルを返します。

• (N, 521) の形状を持つスコアで、521クラスのスコアを表します。
• (N, 1024) の形状を持つ埋め込みベクトル。
• 音声フレーム全体のログメルスペクトログラム。

音声サンプルから抽出された特徴である埋め込みベクトルを、密結合モデルの入力として使用します。 Yamnetの詳細情報については、TensorFlow Hub のページを参照してください。

密結合モデル

使用した密結合モデルは以下の構成です。

• Yamnet分類器の埋め込み出力を入力とする入力層。
• 4つの密結合隠れ層と4つのドロップアウト層。
• 出力密結合層。

📦 トレーニングと評価データ

使用したデータセットは、Crowdsourced high-quality UK and Ireland English Dialect speech data set で、合計17,877個の高品質音声wavファイルから構成されています。 このデータセットには、イングランド南部、中部、北部、ウェールズ、スコットランド、アイルランドの母語話者と自認する120人のボランティアからの31時間以上の録音が含まれています。 詳細情報については、上記のリンクまたは以下の論文を参照してください。 Open-source Multi-speaker Corpora of the English Accents in the British Isles

🔧 トレーニング手順

トレーニングハイパーパラメータ

トレーニングメトリクス

モデルの可視化

検証結果

モデルは検証データセットで以下の結果を達成しました。

検証セットの混同行列は以下の通りです。

クレジット

作成者: Fadi Badine。 Fadi Badineによる以下のKerasの例 English speaker accent recognition using Transfer Learning をベースにしています。 デモは こちら で確認できます。