Wavlm Large

🚀 WavLM-Large

MicrosoftのWavLM

この大規模モデルは、16kHzでサンプリングされた音声オーディオで事前学習されています。モデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

⚠️ 重要提示

このモデルは音声のみで事前学習されているため、トークナイザーがありません。このモデルを音声認識に使用するには、トークナイザーを作成し、ラベル付きのテキストデータでモデルをファインチューニングする必要があります。モデルのファインチューニング方法の詳細については、このブログを参照してください。

モデルは以下のデータで事前学習されています。

• 60,000時間のLibri-Light
• 10,000時間のGigaSpeech
• 24,000時間のVoxPopuli

論文: WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing

著者: Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei

概要 自己教師付き学習（SSL）は音声認識で大きな成功を収めていますが、他の音声処理タスクに対する探索は限られています。音声信号には話者の識別情報、パラ言語情報、話された内容など、多面的な情報が含まれているため、すべての音声タスクに対する普遍的な表現を学習することは困難です。本論文では、フルスタックの下流音声タスクを解決するための新しい事前学習モデル、WavLMを提案します。WavLMはHuBERTフレームワークに基づいて構築されており、話された内容のモデリングと話者の識別情報の保持の両方に重点を置いています。まず、Transformer構造にゲート付き相対位置バイアスを備えさせ、認識タスクに対する能力を向上させます。より良い話者識別のために、発話混合トレーニング戦略を提案します。この戦略では、追加の重複する発話を教師なしで作成し、モデルトレーニング中に組み込みます。最後に、トレーニングデータセットを60,000時間から94,000時間に拡大します。WavLM LargeはSUPERBベンチマークで最先端の性能を達成し、代表的なベンチマークにおける様々な音声処理タスクで大幅な改善をもたらします。

元のモデルは、https://github.com/microsoft/unilm/tree/master/wavlm で見つけることができます。

🚀 クイックスタート

このモデルは英語の事前学習済み音声モデルで、音声認識や音声分類などの下流タスクでファインチューニングしてから推論に使用する必要があります。このモデルは英語で事前学習されているため、英語でのみ良好な性能を発揮すると考えられます。このモデルは、SUPERBベンチマークで良好な結果を示しています。

⚠️ 重要提示

このモデルは音素で事前学習されており、文字ではありません。これは、ファインチューニングする前に、入力テキストを音素のシーケンスに変換する必要があることを意味します。

✨ 主な機能

このモデルは、音声認識や音声分類などの様々な音声処理タスクに適用できます。事前学習に大量の音声データを使用しているため、下流タスクでの性能向上が期待できます。

📚 ドキュメント

音声認識

このモデルを音声認識にファインチューニングするには、公式の音声認識サンプルを参照してください。

音声分類

このモデルを音声分類にファインチューニングするには、公式の音声分類サンプルを参照してください。

話者認証

TODO

話者分離

TODO

📄 ライセンス

公式のライセンスはこちらで確認できます。