🚀 LeBenchmark: 2.6K時間のフランス語音声で学習されたwav2vec2ベースモデル
LeBenchmarkは、自然な発話、朗読、放送などの様々なフランス語データセットで事前学習されたwav2vec2モデルのセットを提供します。2つのバージョンがあり、後者のバージョン（LeBenchmark 2.0）は、事前学習された自己教師付き学習（SSL）モデルの数と下流タスクの数の両方において、最初のバージョンの拡張版です。
wav2vec2モデルを評価するために使用できる様々なベンチマークに関する詳細情報については、以下の論文を参照してください。LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech
✨ 主な機能
LeBenchmarkは、異なるフランス語データセットで事前学習されたwav2vec2モデルのセットを提供し、2つのバージョンがあります。後者のバージョン（LeBenchmark 2.0）は、事前学習されたSSLモデルの数と下流タスクの数の両方において、最初のバージョンの拡張版です。
📚 ドキュメント
モデルとデータの説明
私たちは、HuggingFaceの組織の下で見つけることができる4つの異なるモデルをリリースしています。4つの異なるwav2vec2アーキテクチャ Light、Base、Large、xLarge が、小規模（1K）、中規模（3K）、大規模（7K）、超大規模（14K）のコーパスと組み合わされています。簡単に言えば：
Lebenchmark 2.0:
Lebenchmark:
想定される用途と制限
事前学習されたwav2vec2モデルは、Apache-2.0ライセンスの下で配布されています。したがって、厳格な制限なしに広く再利用することができます。ただし、ベンチマークとデータは、完全にオープンソースではないコーパスにリンクされている場合があります。
Fairseqを使用したASRとCTCでの微調整
私たちのwav2vec2モデルはFairseqで学習されているため、彼らが提供するさまざまなツールを使用して、CTCを使用したASRのためにモデルを微調整することができます。完全な手順は、このブログ記事でまとめられています。
なお、CTCの性質上、音声テキスト変換の結果は最先端のレベルには達しないことが予想されます。さらに、FairseqとHuggingFaceの関与に応じて、将来的に新しい機能が追加される可能性があります。
SpeechBrainへの統合（ASR、話者認識、音源分離など）
事前学習されたwav2vecモデルは最近人気を博しています。同時に、SpeechBrainツールキットが登場し、最先端の音声と深層学習技術を扱う新しく簡単な方法を提案しています。
現在ベータ版ですが、SpeechBrainは、Fairseqで学習されたwav2vec2モデル、つまり私たちのLeBenchmarkモデルをうまく統合する2つの異なる方法を提供しています！
- オンザフライでwav2vec2の特徴量を抽出し（wav2vec2エンコーダを固定）、音声関連のアーキテクチャと組み合わせることができます。例としては、CTC+Att+言語モデルを用いたE2E ASR、話者認識または検証、音源分離などがあります。
- 実験的: wav2vec2の恩恵を最大限に受けるには、下流タスクを学習する際にモデルを微調整するのが最善の解決策です。これはSpeechBrain内ではフラグをオンにするだけで簡単に可能です。したがって、私たちのwav2vec2モデルは、お好きなASRパイプラインや話者認識器を学習する際に微調整することができます。
興味がある場合は、このチュートリアルに従ってください
LeBenchmarkの引用
@misc{parcollet2023lebenchmark,
title={LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech},
author={Titouan Parcollet and Ha Nguyen and Solene Evain and Marcely Zanon Boito and Adrien Pupier and Salima Mdhaffar and Hang Le and Sina Alisamir and Natalia Tomashenko and Marco Dinarelli and Shucong Zhang and Alexandre Allauzen and Maximin Coavoux and Yannick Esteve and Mickael Rouvier and Jerome Goulian and Benjamin Lecouteux and Francois Portet and Solange Rossato and Fabien Ringeval and Didier Schwab and Laurent Besacier},
year={2023},
eprint={2309.05472},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
📄 ライセンス
このプロジェクトは、Apache-2.0ライセンスの下で公開されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応