Distil Large V3 Ct2

🚀 Distil-Whisper: CTranslate2用のdistil-large-v3

このリポジトリには、distil-large-v3 のモデル重みが CTranslate2 形式に変換されて格納されています。CTranslate2はTransformerモデル用の高速推論エンジンであり、Faster-Whisper パッケージでサポートされているバックエンドです。

以前のDistil-Whisperリリースと比較して、distil-large-v3はOpenAI Whisperの長文文字起こしアルゴリズムと互換性を持つように特別に設計されています。分布外の4つのデータセットに対するベンチマークでは、distil-large-v3はdistil-large-v2を平均5%のWER（Word Error Rate）で上回っています。したがって、この最新のチェックポイントに切り替えることで、大幅なパフォーマンス向上が期待できます。

🚀 クイックスタート

📦 インストール

Faster-Whisperでこのモデルを使用するには、まず 公式の手順 に従ってPyPiパッケージをインストールします。この例では、🤗 Datasetsもインストールして、Hugging Face Hubから玩具用の音声データセットをロードします。

pip install --upgrade pip
pip install --upgrade git+https://github.com/SYSTRAN/faster-whisper datasets[audio]

💻 使用例

基本的な使用法

以下のコードスニペットは、distil-large-v3モデルをロードし、LibriSpeech ASRデータセットのサンプルファイルに対して推論を実行します。

import torch
from faster_whisper import WhisperModel
from datasets import load_dataset

# define our torch configuration
device = "cuda:0" if torch.cuda.is_available() else "cpu"
compute_type = "float16" if torch.cuda.is_available() else "float32"

# load model on GPU if available, else cpu
model = WhisperModel("distil-large-v3", device=device, compute_type=compute_type)

# load toy dataset for example
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
sample = dataset[1]["audio"]["path"]

segments, info = model.transcribe(sample, beam_size=1)

for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

高度な使用法

ローカルの音声ファイルを文字起こしするには、transcribe メソッドの audio 引数に音声ファイルのパスを渡します。

segments, info = model.transcribe("audio.mp3", beam_size=1)

📚 ドキュメント

distil-large-v3モデルの詳細については、元の モデルカード を参照してください。

📄 ライセンス

Distil-Whisperは、OpenAIのWhisperモデルから MITライセンス を引き継いでいます。

引用

このモデルを使用する場合は、Distil-Whisperの論文 を引用してください。

@misc{gandhi2023distilwhisper,
      title={Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling}, 
      author={Sanchit Gandhi and Patrick von Platen and Alexander M. Rush},
      year={2023},
      eprint={2311.00430},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}