Whisper Large V3 Distil Multi4 V0.2

🚀 Whisper-Large-V3-Distil-Multi4-v0.2

このモデルは、2つのデコーダー層を持つ多言語蒸留Whisperモデルで、英語、フランス語、スペイン語、ドイツ語という4つのヨーロッパ言語をサポートしています。

このモデルは、Distil-Large-v3.5の開発作業中に訓練されました。

注目すべき特徴は、コードスイッチングをネイティブサポートしていることです。このモデルは、言語の変化を検出すると自動的に新しい言語トークンを生成することで、単一のセグメントの文字起こし中に言語を切り替えることができます（以下の例で示されています）。

訓練中に<|yue|>言語トークンは、推論時にコードスイッチングを可能にする自動言語検出トークンとして再利用されています。この機能を使用するには、言語パラメータをcantonese（デフォルトで使用されます）に設定するだけです。

このモデルの性能は、単言語蒸留バージョンとWhisper-Large-v3-Turboの両方を下回っています。今後の作業では、より良い訓練手順を検討し、多言語機能を1つのモデルに効果的に圧縮するために、より多くのデータを組み込む必要があります。

🚀 クイックスタート

このセクションでは、Whisper-Large-V3-Distil-Multi4-v0.2モデルを使用して自動音声認識を行う基本的な手順を説明します。

✨ 主な機能

• 多言語対応：英語、フランス語、スペイン語、ドイツ語の4つのヨーロッパ言語をサポート。
• コードスイッチングのサポート：単一のセグメントの文字起こし中に自動的に言語を切り替えることができる。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、transformers、torch、datasetsライブラリをインストールできます。

pip install transformers torch datasets

💻 使用例

基本的な使用法

import torch
from datasets import load_dataset
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

# Load model
model_name_or_path = "bofenghuang/whisper-large-v3-distil-multi4-v0.2"
processor = AutoProcessor.from_pretrained(model_name_or_path)
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_name_or_path, torch_dtype=torch_dtype)
model.to(device)

# Example audio
dataset = load_dataset("bofenghuang/asr-dummy", "cs", split="test")
sample, text = dataset[0]["audio"], dataset[0]["text"]

# Ground truth text
print(text)
# Aber sei ihnen nicht böse, Habibi, vergib ihnen, sie vergaßen die Liebe, sie vergaßen die Bibel, 
# wünsch ihnen den Frieden. Nous allons construire des radiotélescopes géants comme celui-ci, 
# qui est mon préféré. Questa è un'immagine di Cairo Open City, una mostra che il museo Folkwang di 
# Essen ha dedicato al ruolo della mobile photography nella primavera Araba.

# Extract feautres
input_features = processor(
    sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt"
).input_features


# Generate tokens
predicted_ids = model.generate(
    input_features.to(device, dtype=torch_dtype),
    max_new_tokens=128,
)

# Detokenize to text
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
print(transcription)
#  Aber sei ihnen nicht böse, Habibi, vergib ihn. Sie vergaßen die Liebe, sie vergaßen die Liebe. 
# Wünsche ihnen dem Frieden. Nous allons construire des radiotelescopes géants, comme celui-ci qui 
# est mon préféré. Esta es una imagen de Cairo Open City, una muestra que el Museo Folk Punk de Essen 
# ha dedicado al ruolo de la mobile fotografía en la primavera árabe.

# Dive in generated tokens
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)[0]
print(transcription)
# <|de|> Aber sei ihnen nicht böse, Habibi, vergib ihn. Sie vergaßen die Liebe, sie vergaßen die Liebe. 
# Wünsche ihnen dem Frieden.<|fr|> Nous allons construire des radiotelescopes géants, comme celui-ci qui 
# est mon préféré.<|es|> Esta es una imagen de Cairo Open City, una muestra que el Museo Folk Punk de Essen 
# ha dedicado al ruolo de la mobile fotografía en la primavera árabe.

📚 ドキュメント

評価

このセクションでは、Whisper-Large-V3-Distil-Multi4-v0.2モデルと他の関連モデルの評価結果を示します。

英語

フランス語

スペイン語

ドイツ語

📄 ライセンス

このモデルはMITライセンスの下で提供されています。