Wavlm Base Plus

🚀 WavLM-Base-Plus

MicrosoftのWavLMは、16kHzでサンプリングされた音声オーディオで事前学習されたベースモデルです。このモデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

注意: このモデルは音声のみで事前学習されているため、トークナイザーを持っていません。このモデルを音声認識に使用するには、トークナイザーを作成し、ラベル付きのテキストデータでモデルをファインチューニングする必要があります。モデルのファインチューニング方法の詳細については、このブログを参照してください。

このモデルは以下のデータセットで事前学習されています。

• 60,000時間のLibri-Light
• 10,000時間のGigaSpeech
• 24,000時間のVoxPopuli

論文: WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing

著者: Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei

概要 自己教師付き学習（SSL）は音声認識で大きな成功を収めていますが、他の音声処理タスクに対する探索は限られています。音声信号には話者の識別情報、パラ言語情報、話された内容など、多面的な情報が含まれているため、すべての音声タスクに対する普遍的な表現を学習することは困難です。この論文では、フルスタックの下流音声タスクを解決するための新しい事前学習モデル、WavLMを提案します。WavLMはHuBERTフレームワークに基づいて構築されており、話された内容のモデリングと話者の識別情報の保存の両方に重点を置いています。まず、Transformer構造にゲート付き相対位置バイアスを備えさせ、認識タスクに対する能力を向上させます。より良い話者識別のために、発話混合学習戦略を提案します。この戦略では、追加の重複する発話を教師なしで作成し、モデル学習中に組み込みます。最後に、学習データセットを60,000時間から94,000時間に拡大します。WavLM LargeはSUPERBベンチマークで最先端の性能を達成し、代表的なベンチマークでの様々な音声処理タスクに大きな改善をもたらします。

元のモデルはhttps://github.com/microsoft/unilm/tree/master/wavlm で見つけることができます。

🚀 クイックスタート

このモデルは英語の事前学習済み音声モデルであり、音声認識や音声分類などの下流タスクでファインチューニングしてから推論に使用する必要があります。このモデルは英語で事前学習されているため、英語でのみ良好な性能を発揮すると考えられます。このモデルはSuperbベンチマークで良好な結果を示しています。

⚠️ 重要提示

このモデルは音素で事前学習されており、文字ではありません。これは、ファインチューニングする前に、入力テキストを音素のシーケンスに変換する必要があることを意味します。

📚 ドキュメント

音声認識

このモデルを音声認識用にファインチューニングするには、公式の音声認識の例を参照してください。

音声分類

このモデルを音声分類用にファインチューニングするには、公式の音声分類の例を参照してください。

話者認証

TODO

話者分離

TODO

📄 ライセンス

公式のライセンスはこちらで確認できます。