Wav2vec2 FR 7K Base

🚀 LeBenchmark: 7000時間のフランス語音声で学習されたwav2vec2ベースモデル

LeBenchmarkは、自然な発話、朗読、放送などの様々なフランス語データセットで事前学習されたwav2vec2モデルのセットを提供します。2つのバージョンがあり、後者のバージョン（LeBenchmark 2.0）は、事前学習された自己教師付き学習（SSL）モデルの数と下流タスクの数の両面で最初のバージョンを拡張したものです。 wav2vec2モデルを評価するために使用できるさまざまなベンチマークの詳細については、LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speechを参照してください。

🚀 クイックスタート

本READMEでは、LeBenchmarkのwav2vec2モデルに関する情報、使用方法、制限事項などを説明します。

✨ 主な機能

• 様々なフランス語データセットで事前学習されたwav2vec2モデルを提供。
• 2つのバージョン（LeBenchmarkとLeBenchmark 2.0）があり、拡張された機能を持つ。
• 異なるアーキテクチャとコーパスサイズのモデルが用意されている。
• FairseqやSpeechBrainなどのツールでの微調整や統合が可能。

📦 インストール

本READMEではインストール手順に関する具体的なコマンドが提供されていないため、このセクションは省略します。

💻 使用例

基本的な使用法

本READMEでは基本的な使用法に関する具体的なコード例が提供されていないため、このセクションは省略します。

📚 ドキュメント

モデルとデータの説明

私たちは、HuggingFaceの組織の下で見つけることができる4つの異なるモデルをリリースしています。4つの異なるwav2vec2アーキテクチャ Light、Base、Large、xLarge が、小規模（1000時間）、中規模（3000時間）、大規模（7000時間）、超大規模（14000時間）のコーパスと組み合わされています。簡単に言うと：

Lebenchmark 2.0:

• wav2vec2-FR-14K-xlarge: 14000時間のフランス語音声（男性5400時間 / 女性2400時間 / 不明6800時間）で学習されたxLarge wav2vec2。
• wav2vec2-FR-14K-large: 14000時間のフランス語音声（男性5400時間 / 女性2400時間 / 不明6800時間）で学習されたLarge wav2vec2。
• wav2vec2-FR-14K-light: 14000時間のフランス語音声（男性5400時間 / 女性2400時間 / 不明6800時間）で学習されたLight wav2vec2。

Lebenchmark:

• wav2vec2-FR-7K-large: 7600時間のフランス語音声（男性1800時間 / 女性1000時間 / 不明4800時間）で学習されたLarge wav2vec2。
• wav2vec2-FR-7K-base: 7600時間のフランス語音声（男性1800時間 / 女性1000時間 / 不明4800時間）で学習されたBase wav2vec2。
• wav2vec2-FR-3K-large: 2900時間のフランス語音声（男性1800時間 / 女性1000時間 / 不明100時間）で学習されたLarge wav2vec2。
• wav2vec2-FR-3K-base: 2900時間のフランス語音声（男性1800時間 / 女性1000時間 / 不明100時間）で学習されたBase wav2vec2。
• wav2vec2-FR-2.6K-base: 2600時間のフランス語音声（自然な発話なし）で学習されたBase wav2vec2。
• wav2vec2-FR-1K-large: 1000時間のフランス語音声（男性500時間 / 女性500時間）で学習されたLarge wav2vec2。
• wav2vec2-FR-1K-base: 1000時間のフランス語音声（男性500時間 / 女性500時間）で学習されたBase wav2vec2。

意図された用途と制限

事前学習されたwav2vec2モデルはApache-2.0ライセンスの下で配布されています。したがって、厳格な制限なしに広く再利用することができます。ただし、ベンチマークやデータは、完全にオープンソースではないコーパスに関連付けられている場合があります。

Fairseqを使用したASRとCTCでの微調整

私たちのwav2vec2モデルはFairseqで学習されているため、彼らが提供するさまざまなツールを使用して、CTCを使用したASRのためにモデルを微調整することができます。完全な手順は、このブログ記事でまとめられています。

SpeechBrainへの統合（ASR、話者認識、音源分離など）

事前学習されたwav2vecモデルは最近人気を博しています。同時に、SpeechBrainツールキットが登場し、最先端の音声とディープラーニング技術を扱う新しく簡単な方法を提案しています。

現在ベータ版ですが、SpeechBrainは、Fairseqで学習されたwav2vec2モデル（つまり私たちのLeBenchmarkモデル）をうまく統合する2つの異なる方法を提供しています！

1. オンザフライでwav2vec2の特徴量を抽出し（wav2vec2エンコーダを凍結した状態で）、音声関連のアーキテクチャと組み合わせる。例えば、CTC+Attention+言語モデルによるエンドツーエンドASR、話者認識または検証、音源分離など。
2. 実験的: wav2vec2の恩恵を最大限に受けるには、下流タスクを学習する際にモデルを微調整するのが最善の解決策です。これはSpeechBrain内では単純にフラグをオンにするだけで可能です。したがって、私たちのwav2vec2モデルは、好きなASRパイプラインや話者認識器を学習する際に微調整することができます。

興味がある場合は、このチュートリアルに従ってください

🔧 技術詳細

本READMEでは技術的な詳細に関する具体的な説明が50文字以上提供されていないため、このセクションは省略します。

📄 ライセンス

事前学習されたwav2vec2モデルはApache-2.0ライセンスの下で配布されています。

LeBenchmarkの引用

@misc{parcollet2023lebenchmark,
      title={LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech}, 
      author={Titouan Parcollet and Ha Nguyen and Solene Evain and Marcely Zanon Boito and Adrien Pupier and Salima Mdhaffar and Hang Le and Sina Alisamir and Natalia Tomashenko and Marco Dinarelli and Shucong Zhang and Alexandre Allauzen and Maximin Coavoux and Yannick Esteve and Mickael Rouvier and Jerome Goulian and Benjamin Lecouteux and Francois Portet and Solange Rossato and Fabien Ringeval and Didier Schwab and Laurent Besacier},
      year={2023},
      eprint={2309.05472},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}