Hubert Large Ls960 Ft

🚀 Hubert-Large-Finetuned

FacebookのHubertモデルをベースに、960時間のLibrispeech音声オーディオで微調整された、自動音声認識用のモデルです。

🚀 クイックスタート

このモデルは、16kHzでサンプリングされた音声オーディオに対して、960時間のLibrispeechデータを使用して大規模モデルを微調整したものです。このモデルを使用する際には、入力音声も16kHzでサンプリングされていることを確認してください。

このモデルは hubert-large-ll60k の微調整版です。

論文リンク

著者：Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed

概要

音声表現学習の自己教師付き手法は、3つの独特な問題に直面しています。（1）各入力発話に複数の音声単位が存在すること；（2）事前学習段階で入力音声単位の辞書がないこと；（3）音声単位の長さが可変で明確な分割がないこと。これら3つの問題を解決するために、自己教師付き音声表現学習のためのHidden-Unit BERT（HuBERT）手法を提案します。この手法は、オフラインクラスタリングステップを利用して、BERTのような予測損失に対してアライメントされたターゲットラベルを提供します。我々の手法の重要な要素は、マスク領域にのみ予測損失を適用することで、連続入力に対して組み合わせた音響および言語モデルを学習させることです。HuBERTは、割り当てられたクラスタラベルの内在的な品質ではなく、教師なしクラスタリングステップの一貫性に主に依存しています。単純な100クラスタのk-means教師から始め、2ラウンドのクラスタリングを行うことで、HuBERTモデルは、Librispeech（960時間）およびLibri-light（60,000時間）のベンチマークの10分、1時間、10時間、100時間、960時間の微調整サブセットで、最先端のwav2vec 2.0の性能と同等またはそれ以上の性能を発揮します。10億パラメータのモデルを使用すると、より挑戦的なdev-otherおよびtest-other評価サブセットで、最大19％および13％の相対的な単語誤り率（WER）の低下が見られます。

元のモデルは https://github.com/pytorch/fairseq/tree/master/examples/hubert で見つけることができます。

✨ 主な機能

• データセット：libri-light と librispeech_asr データセットを使用しています。
• 適用分野：音声、オーディオ、自動音声認識などの分野に適用可能で、HF自動音声認識ランキングにランクインしています。
• ライセンス：apache-2.0 ライセンスを採用しています。

LibriSpeech (clean) テストセットでのテスト単語誤り率（Test WER）は1.9です。

💻 使用例

基本的な使用法

import torch
from transformers import Wav2Vec2Processor, HubertForCTC
from datasets import load_dataset

processor = Wav2Vec2Processor.from_pretrained("facebook/hubert-large-ls960-ft")
model = HubertForCTC.from_pretrained("facebook/hubert-large-ls960-ft")
    
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # Batch size 1
logits = model(input_values).logits
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.decode(predicted_ids[0])

# ->"A MAN SAID TO THE UNIVERSE SIR I EXIST"

📄 ライセンス

このプロジェクトは apache-2.0 ライセンスを採用しています。