Data2vec Audio Large

🚀 Data2Vec-Audio-Large

FacebookのData2Vecは、16kHzでサンプリングされた音声オーディオで事前学習された大規模モデルです。このモデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

注意: このモデルは音声のみで事前学習されているため、トークナイザーがありません。このモデルを音声認識に使用するには、トークナイザーを作成し、ラベル付きのテキストデータでモデルをファインチューニングする必要があります。モデルのファインチューニング方法の詳細については、このブログを参照してください。

論文

著者: Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli

概要

自己教師付き学習の一般的な考え方はモダリティ間で同じですが、実際のアルゴリズムと目的は、単一のモダリティを念頭に開発されたため、大きく異なります。一般的な自己教師付き学習に近づくために、私たちはdata2vecというフレームワークを提案します。このフレームワークは、音声、自然言語処理、またはコンピュータビジョンのいずれにも同じ学習方法を使用します。核心的なアイデアは、標準的なTransformerアーキテクチャを使用した自己蒸留のセットアップで、入力のマスクされたビューに基づいて、全入力データの潜在表現を予測することです。data2vecは、本質的に局所的な単語、ビジュアルトークン、または人間の音声の単位などのモダリティ固有のターゲットを予測するのではなく、入力全体の情報を含む文脈付けられた潜在表現を予測します。音声認識、画像分類、および自然言語理解の主要なベンチマークでの実験は、新しい最先端技術または主要なアプローチと競合する性能を示しています。

元のモデルは、https://github.com/pytorch/fairseq/tree/main/examples/data2vec で見つけることができます。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

✨ 主な機能

このモデルは、音声データに対する自己教師付き学習を行い、音声認識などのタスクに利用できます。同じ学習方法を音声、NLP、コンピュータビジョンの各モダリティに適用できる汎用的なフレームワークです。

📚 ドキュメント

事前学習方法

詳細については、公式論文を参照してください。

使用方法

モデルのファインチューニング方法の詳細については、このノートブックを参照してください。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。