Wavlm Base

🚀 WavLM-Base

MicrosoftのWavLMは、16kHzでサンプリングされた音声オーディオで事前学習されたベースモデルです。このモデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

⚠️ 重要提示

このモデルは音声のみで事前学習されているため、トークナイザーがありません。このモデルを音声認識に使用するには、トークナイザーを作成し、ラベル付きのテキストデータでモデルをファインチューニングする必要があります。モデルのファインチューニング方法の詳細については、このブログを参照してください。

このモデルは、960時間のLibrispeechで事前学習されています。

論文: WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing

著者: Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei

概要 自己教師あり学習（SSL）は音声認識で大きな成功を収めていますが、他の音声処理タスクに対する探索は限られています。音声信号には話者の識別情報、パラ言語情報、話された内容など、多面的な情報が含まれているため、すべての音声タスクに対する普遍的な表現を学習することは困難です。本論文では、フルスタックの下流音声タスクを解決するための新しい事前学習モデル、WavLMを提案します。WavLMはHuBERTフレームワークに基づいて構築されており、話された内容のモデリングと話者識別情報の保存の両方に重点を置いています。まず、Transformer構造にゲート付き相対位置バイアスを搭載し、認識タスクに対する能力を向上させます。より良い話者識別のために、発話混合トレーニング戦略を提案します。この戦略では、追加の重複する発話を教師なしで作成し、モデルトレーニング中に組み込みます。最後に、トレーニングデータセットを60,000時間から94,000時間に拡大します。WavLM Largeは、SUPERBベンチマークで最先端の性能を達成し、代表的なベンチマークでの様々な音声処理タスクに大きな改善をもたらします。

元のモデルは、https://github.com/microsoft/unilm/tree/master/wavlm で見つけることができます。

🚀 クイックスタート

このモデルは英語の事前学習済み音声モデルで、音声認識や音声分類などの下流タスクでファインチューニングしてから推論に使用する必要があります。このモデルは英語で事前学習されているため、英語でのみ良好な性能を発揮します。このモデルは、SUPERBベンチマークで良好な結果を示しています。

⚠️ 重要提示

このモデルは音素で事前学習されており、文字ではありません。つまり、ファインチューニングする前に、入力テキストを音素のシーケンスに変換する必要があります。

音声認識

このモデルを音声認識にファインチューニングするには、公式の音声認識サンプルを参照してください。

音声分類

このモデルを音声分類にファインチューニングするには、公式の音声分類サンプルを参照してください。

話者認証

TODO

話者分離

TODO

📄 ライセンス

公式のライセンスはここで確認できます。