Lite Whisper Large V3 Turbo Acc

🚀 Lite-Whisper large-v3-turbo-acc

Lite-Whisperは、LiteASRを用いたOpenAI Whisperの圧縮版モデルです。音声を自動的に文字起こしすることができ、サイズを抑えつつ高い精度を維持します。

📦 モデル情報

✨ 主な機能

Lite-Whisperは、OpenAI WhisperをLiteASRで圧縮したモデルです。詳細については、GitHubリポジトリと論文を参照してください。

📊 ベンチマーク結果

以下は、ESBデータセットで評価した平均単語誤り率（WER）です。

🚀 クイックスタート

このモデルを実行する最も簡単な方法は、HuggingFace Transformersライブラリとの統合を使用することです。OpenAI Whisperシリーズの圧縮版のモデルウェイトは、こちらで提供されています。

基本的な使用法

import librosa 
import torch
from transformers import AutoProcessor, AutoModel

device = "cuda:0"
dtype = torch.float16

# load the compressed Whisper model
model = AutoModel.from_pretrained(
    "efficient-speech/lite-whisper-large-v3-turbo", 
    trust_remote_code=True, 
)
model.to(dtype).to(device)

# we use the same processor as the original model
processor = AutoProcessor.from_pretrained("openai/whisper-large-v3")

# set the path to your audio file
path = "path/to/audio.wav"
audio, _ = librosa.load(path, sr=16000)

input_features = processor(audio, sampling_rate=16000, return_tensors="pt").input_features
input_features = input_features.to(dtype).to(device)

predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(
    predicted_ids, 
    skip_special_tokens=True
)[0]

print(transcription)

📖 引用

もしあなたの研究でLiteASRを使用する場合は、以下の論文を引用してください。

@misc{kamahori2025liteasrefficientautomaticspeech,
      title={LiteASR: Efficient Automatic Speech Recognition with Low-Rank Approximation}, 
      author={Keisuke Kamahori and Jungo Kasai and Noriyuki Kojima and Baris Kasikci},
      year={2025},
      eprint={2502.20583},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2502.20583}, 
}

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。