Hubert Large Ll60k

🚀 Hubert-Large

FacebookのHuBERTは、音声認識、生成、圧縮のための自己教師付き表現学習モデルです。

この大規模モデルは、16kHzでサンプリングされた音声オーディオで事前学習されています。モデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

🚀 クイックスタート

このモデルは音声のみで事前学習されているため、トークナイザーを持っていません。このモデルを音声認識に使用するには、トークナイザーを作成し、ラベル付きのテキストデータでモデルを微調整する必要があります。モデルの微調整方法についての詳細な説明は、このブログを参照してください。

モデルはLibri-Lightで事前学習されています。

📚 ドキュメント

論文情報

• 論文
• 著者: Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed

概要

音声表現学習の自己教師付きアプローチは、3つの独自の問題に直面しています。

1. 各入力発話に複数の音声単位がある。
2. 事前学習フェーズでは入力音声単位の辞書がない。
3. 音声単位の長さが可変で、明示的なセグメンテーションがない。

これらの3つの問題に対処するために、自己教師付き音声表現学習のためのHidden-Unit BERT（HuBERT）アプローチを提案します。これは、オフラインクラスタリングステップを利用して、BERTのような予測損失に対する整列されたターゲットラベルを提供します。このアプローチの重要な要素は、マスクされた領域にのみ予測損失を適用することで、モデルに連続入力に対する音響と言語の組み合わせモデルを学習させます。HuBERTは、主に教師なしクラスタリングステップの一貫性に依存しており、割り当てられたクラスタラベルの本質的な品質には依存しません。100クラスターの単純なk-means教師から始めて、2回のクラスタリングを行うことで、HuBERTモデルは、10分、1時間、10時間、100時間、および960時間の微調整サブセットを使用して、Librispeech（960時間）およびLibri-light（60,000時間）のベンチマークで、最先端のwav2vec 2.0の性能と同等またはそれ以上の性能を発揮します。10億パラメータモデルを使用すると、より困難なdev-otherおよびtest-other評価サブセットで、最大19％および13％の相対的なWER削減が見られます。

モデル情報

使用方法

モデルの微調整方法の詳細については、このブログを参照してください。なお、Wav2Vec2ForCTCクラスはHubertForCTCに置き換える必要があります。

注意事項

⚠️ 重要提示

このモデルは音声のみで事前学習されているため、トークナイザーを持っていません。音声認識に使用する場合は、トークナイザーを作成し、ラベル付きのテキストデータでモデルを微調整する必要があります。

元のモデル

元のモデルは、https://github.com/pytorch/fairseq/tree/master/examples/hubert で見つけることができます。