Hubert Base Ls960

🚀 Hubert - Base

Hubert - Baseは、16kHzでサンプリングされた音声オーディオで事前学習されたベースモデルです。音声認識タスクに役立つこのモデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

✨ 主な機能

• 音声表現学習のための自己教師あり学習アプローチで、音声認識、生成、圧縮などのタスクに応用可能です。
• オフラインクラスタリングステップを利用して、BERTのような予測損失に対するアラインされたターゲットラベルを提供します。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

このモデルをファインチューニングする方法についての詳細な情報は、[このブログ](https://huggingface.co/blog/fine - tune - wav2vec2 - english)を参照してください。ただし、クラスWav2Vec2ForCTCをHubertForCTCに置き換える必要があります。

📚 ドキュメント

モデル情報

論文情報

• Facebook's Hubert
• Paper
  • 著者: Wei - Ning Hsu, Benjamin Bolte, Yao - Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed
  • 概要：音声表現学習のための自己教師ありアプローチは、3つの独特な問題に直面しています。(1) 各入力発話には複数の音声単位があり、(2) 事前学習段階では入力音声単位の語彙がなく、(3) 音声単位は明確なセグメンテーションがなく可変長です。これらの3つの問題に対処するために、我々は自己教師あり音声表現学習のためのHidden - Unit BERT (HuBERT) アプローチを提案します。これは、オフラインクラスタリングステップを利用して、BERTのような予測損失に対するアラインされたターゲットラベルを提供します。我々のアプローチの重要な要素は、マスクされた領域にのみ予測損失を適用することで、モデルに連続入力に対する音響モデルと言語モデルの組み合わせを学習させます。HuBERTは、主に教師なしクラスタリングステップの一貫性に依存しており、割り当てられたクラスタラベルの本質的な品質に依存するわけではありません。100クラスタの単純なk - means教師から始め、2回のクラスタリングを行うことで、HuBERTモデルは、10分、1時間、10時間、100時間、および960時間のファインチューニングサブセットを使用して、Librispeech (960h) およびLibri - light (60,000h) ベンチマークで最先端のwav2vec 2.0の性能と同等またはそれ以上の性能を発揮します。10億パラメータのモデルを使用すると、より難しいdev - otherおよびtest - other評価サブセットで最大19％および13％の相対的なWER削減が見られます。

注意事項

⚠️ 重要提示

このモデルにはトークナイザーがありません。これは音声のみで事前学習されているためです。このモデルを音声認識に使用するには、トークナイザーを作成し、モデルをラベル付きのテキストデータでファインチューニングする必要があります。モデルのファインチューニング方法の詳細な説明については、[このブログ](https://huggingface.co/blog/fine - tune - wav2vec2 - english)を参照してください。

🔧 技術詳細

ドキュメントに具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。