Wav2vec2 Pretrained Clsril 23 10k

🚀 CLSRIL - 23 (インド諸言語におけるクロス言語音声表現)

このCLSRIL - 23 (Cross Lingual Speech Representations on Indic Languages)は、自己教師付き学習に基づく音声事前学習モデルです。このモデルは、23種類のインド諸言語にまたがる生の音声からクロス言語の音声表現を学習します。このモデルはwav2vec 2.0をベースに構築されており、マスクされた潜在音声表現に対する対照的なタスクを訓練することで解決され、すべての言語に共通する潜在表現の量子化を同時に学習します。

Arxivリンク

オリジナルのリポジトリには、fairseq形式のモデルが含まれています。

✨ 主な機能

• 23種類のインド諸言語にまたがるクロス言語音声表現の学習
• wav2vec 2.0をベースに構築され、マスクされた潜在音声表現に対する対照的なタスクを訓練
• すべての言語に共通する潜在表現の量子化を同時に学習

📚 ドキュメント

事前学習データセットの言語

訓練用のリポジトリ

実験用プラットフォームは、fairseqの上に構築されています。