🚀 LeBenchmark: 1000時間のフランス語音声で学習されたwav2vec2ベースモデル
LeBenchmarkは、自然な発話、読み上げ、放送音声など、様々なフランス語データセットで事前学習されたwav2vec2モデルのセットを提供します。2つのバージョンがあり、後続のバージョン（LeBenchmark 2.0）は、事前学習された自己教師付き学習（SSL）モデルの数と下流タスクの数の両面で、最初のバージョンを拡張したものです。
wav2vec2モデルを評価するために使用できるさまざまなベンチマークの詳細については、以下の論文を参照してください。LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech
🚀 クイックスタート
このREADMEでは、LeBenchmarkに含まれるwav2vec2モデルの概要、使用方法、制限事項などについて説明します。
✨ 主な機能
- 様々なフランス語データセットで事前学習されたwav2vec2モデルを提供。
- 2つのバージョン（LeBenchmarkとLeBenchmark 2.0）があり、後者は前者の拡張版。
- Apache-2.0ライセンスの下で配布されており、広範な再利用が可能。
📦 インストール
このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略します。
💻 使用例
このREADMEには具体的なコード例が記載されていないため、このセクションは省略します。
📚 ドキュメント
モデルとデータの説明
私たちは、HuggingFaceの組織の下で見つけることができる4つの異なるモデルをリリースしています。4つの異なるwav2vec2アーキテクチャ Light、Base、Large、xLarge が、小規模（1K）、中規模（3K）、大規模（7K）、超大規模（14K）のコーパスと組み合わされています。簡単に言うと：
Lebenchmark 2.0:
Lebenchmark:
想定される用途と制限
事前学習されたwav2vec2モデルは、Apache-2.0ライセンスの下で配布されています。したがって、厳格な制限なしに広範に再利用することができます。ただし、ベンチマークやデータは、完全にオープンソースではないコーパスに関連付けられている場合があります。
Fairseqを使用したCTCによるASRの微調整
私たちのwav2vec2モデルはFairseqで学習されているため、彼らが提供するさまざまなツールを使用して、CTCによるASRのためにモデルを微調整することができます。完全な手順は、このブログ記事でまとめられています。
SpeechBrainへの統合（ASR、話者認識、音源分離など）
事前学習されたwav2vecモデルは最近人気が高まっています。同時に、SpeechBrainツールキットが登場し、最先端の音声と深層学習技術を扱う新しく簡単な方法を提案しています。
現在ベータ版ですが、SpeechBrainは、Fairseqで学習されたwav2vec2モデル、つまり私たちのLeBenchmarkモデルをうまく統合する2つの異なる方法を提供しています！
- オンザフライでwav2vec2の特徴量を抽出し（wav2vec2エンコーダを凍結した状態で）、音声関連のアーキテクチャと組み合わせる。例えば、CTC+Attention+言語モデルによるE2E ASR、話者認識または検証、音源分離など。
- 実験的: wav2vec2の恩恵を最大限に享受するには、下流タスクを学習しながらモデルを微調整するのが最善の解決策です。これは、SpeechBrain内で単純にフラグをオンにするだけで可能です。したがって、私たちのwav2vec2モデルは、お好きなASRパイプラインや話者認識器を学習しながら微調整することができます。
興味がある場合は、このチュートリアルに従ってください
LeBenchmarkの引用
@misc{parcollet2023lebenchmark,
title={LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech},
author={Titouan Parcollet and Ha Nguyen and Solene Evain and Marcely Zanon Boito and Adrien Pupier and Salima Mdhaffar and Hang Le and Sina Alisamir and Natalia Tomashenko and Marco Dinarelli and Shucong Zhang and Alexandre Allauzen and Maximin Coavoux and Yannick Esteve and Mickael Rouvier and Jerome Goulian and Benjamin Lecouteux and Francois Portet and Solange Rossato and Fabien Ringeval and Didier Schwab and Laurent Besacier},
year={2023},
eprint={2309.05472},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
🔧 技術詳細
このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略します。
📄 ライセンス
事前学習されたwav2vec2モデルは、Apache-2.0ライセンスの下で配布されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応