Data2vec Audio Base 100h

🚀 Data2Vec-Audio-Base-100h

FacebookのData2Vecは、音声、ビジョン、言語における自己教師あり学習のための一般的なフレームワークです。このモデルは、16kHzサンプリングの音声オーディオで、100時間のLibrispeechデータセットを使用して事前学習および微調整されています。モデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

🚀 クイックスタート

このモデルは、音声ファイルの文字起こしに使用できます。以下に、単独の音響モデルとして使用する例を示します。

💻 使用例

基本的な使用法

 from transformers import Wav2Vec2Processor, Data2VecForCTC
 from datasets import load_dataset
 import torch
 
 # load model and processor
 processor = Wav2Vec2Processor.from_pretrained("facebook/data2vec-audio-base-100h")
 model = Data2VecForCTC.from_pretrained("facebook/data2vec-audio-base-100h")
     
 # load dummy dataset and read soundfiles
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 
 # tokenize
 input_values = processor(ds[0]["audio"]["array"],, return_tensors="pt", padding="longest").input_values  # Batch size 1
 
 # retrieve logits
 logits = model(input_values).logits
 
 # take argmax and decode
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)

✨ 主な機能

• 汎用的な自己教師あり学習：音声、自然言語処理、コンピュータビジョンの各分野で同じ学習方法を使用します。
• 文脈化された潜在表現の予測：単語や視覚トークンなどのモダリティ固有のターゲットではなく、入力全体の情報を含む文脈化された潜在表現を予測します。

📦 インストール

このモデルを使用するには、transformers と datasets ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers datasets

📚 ドキュメント

概要

一般的な自己教師あり学習のアイデアはモダリティを問わず同じですが、実際のアルゴリズムや目的は大きく異なります。これは、単一のモダリティを念頭に開発されているためです。Data2Vecは、音声、自然言語処理、コンピュータビジョンのいずれにも同じ学習方法を使用するフレームワークです。核心的なアイデアは、標準的なTransformerアーキテクチャを使用した自己蒸留設定で、入力のマスクされたビューに基づいて入力データ全体の潜在表現を予測することです。Data2Vecは、単語や視覚トークンなどの局所的なモダリティ固有のターゲットを予測するのではなく、入力全体の情報を含む文脈化された潜在表現を予測します。音声認識、画像分類、自然言語理解の主要なベンチマークでの実験は、新しい最先端技術または主要なアプローチと競争力のあるパフォーマンスを示しています。

事前学習方法

詳細については、公式論文を参照してください。

🔧 技術詳細

元のモデルは、https://github.com/pytorch/fairseq/tree/main/examples/data2vec で見つけることができます。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で公開されています。