Distilhubert

🚀 DistilHuBERT

DistilHuBERTは台湾大学の音声処理と機械学習ラボによって開発されたモデルで、16kHzサンプリングの音声オーディオを使用して事前学習されています。このモデルを使用する際には、入力音声も16kHzサンプリングであることを確認してください。

🚀 クイックスタート

このモデルは、16kHzサンプリングの音声オーディオで事前学習された基礎モデルです。モデルを使用する際には、音声入力も同じく16kHzサンプリングであることを確認してください。

⚠️ 重要提示

このモデルにはトークナイザーがありません。なぜなら、このモデルは音声のみで事前学習されているからです。このモデルを音声認識に使用する場合は、トークナイザーを作成し、ラベル付きのテキストデータでモデルを微調整する必要があります。モデルの微調整方法に関する詳細な説明は、このブログを参照してください。

✨ 主な機能

• 軽量設計：新しいマルチタスク学習フレームワークを使用して、HuBERTモデルから直接隠れ層の表現を抽出することで、HuBERTのモデルサイズを75％縮小し、速度を73％向上させ、同時に10の異なるタスクで大部分の性能を維持しています。
• 低リソース要求：DistilHuBERTは、学習時間とデータの必要量が少なく、音声の個人やデバイス端末での自己教師付き学習（SSL）モデルの事前学習を可能にします。

📚 ドキュメント

論文情報

• タイトル：DistilHuBERT: Speech Representation Learning by Layer-wise Distillation of Hidden-unit BERT
• 著者：Heng - Jui Chang, Shu - wen Yang, Hung - yi Lee
• 概要：wav2vec 2.0やHidden - unit BERT (HuBERT) のような自己教師付き音声表現学習方法は、ラベルのない音声データを使用して事前学習を行い、多くの音声処理タスクに良い表現を提供します。これらの方法は成功を収めていますが、大量のメモリと高い事前学習コストが必要であり、学界の研究者や小規模企業が利用することが困難です。そこで、本論文ではDistilHuBERTという新しいマルチタスク学習フレームワークを紹介します。この方法は、HuBERTモデルから直接隠れ層の表現を抽出し、HuBERTのサイズを75％縮小し、速度を73％向上させ、同時に10の異なるタスクで大部分の性能を維持します。また、DistilHuBERTは学習時間とデータの必要量が少なく、音声の個人やデバイス端末でのSSLモデルの事前学習を可能にします。

モデルの使用

モデルの微調整方法に関する詳細は、このブログを参照してください。なお、クラス Wav2Vec2ForCTC を HubertForCTC に置き換える必要があります。

モデルの元のアドレス

元のモデルは、https://github.com/s3prl/s3prl/tree/master/s3prl/upstream/distiller で見つけることができます。

📄 ライセンス

このモデルは、Apache - 2.0ライセンスを使用しています。

📦 関連情報