Whisper Small Ita

🚀 litus-ai/whisper-small-ita

このモデルは、イタリア語に最適化されたopenai/whisper-smallのバージョンです。Litus AIの一部の独自データを使用して学習されています。litus-ai/whisper-small-itaは、性能とコストのバランスに優れており、計算リソースが限られているが、音声の正確な文字起こしが必要なコンテキストに最適です。

🚀 クイックスタート

このモデルは、Hugging Faceの「automatic - speech - recognition」パイプラインを通じて使用することができます。

基本的な使用法

from transformers import WhisperProcessor, WhisperForConditionalGeneration
from datasets import load_dataset

# load model and processor
model_id = "litus-ai/whisper-small-ita"
processor = WhisperProcessor.from_pretrained(model_id)
model = WhisperForConditionalGeneration.from_pretrained(model_id)

# load Meta voxpopuli in italian
ds = load_dataset("facebook/voxpopuli", "it", split="test")
sample = ds[171]["audio"]  # sample having an "[UNINT]" token

input_features = processor(
  sample["array"],
  sampling_rate=sample["sampling_rate"],
  return_tensors="pt",
).input_features 

# generate token ids
predicted_ids = model.generate(input_features)

# decode token ids to text
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)
# ["<|startoftranscript|><|it|><|transcribe|><|notimestamps|> Siamo all'ultimo miglio, non sprechiamo un'occasione per dimostrare che siamo autonomi [UNINT]<|endoftext|>"]

✨ 主な機能

このモデルの主な特徴は、文字起こしにメタ情報を付加する特殊トークンの統合です。

• 副言語要素: [LAUGH], [MHMH], [SIGH], [UHM]
• 音声品質: [NOISE], [UNINT] (不明瞭)
• 話し言葉の特徴: [AUTOCOR] (自動修正), [L-EN] (英語のコードスイッチング)

これらのトークンにより、単なる言語内容だけでなく、関連するコンテキスト要素も捉えた、より充実した文字起こしが可能になります。

📚 ドキュメント

モデルの説明

このモデルは、openai/whisper-smallのイタリア語向けに最適化されたバージョンで、Litus AIの一部の独自データを使用して学習されています。litus-ai/whisper-small-itaは、性能とコストのバランスに優れており、計算リソースが限られているが、音声の正確な文字起こしが必要なコンテキストに最適です。

評価

次のグラフでは、openai/whisper-small、openai/whisper-medium、litus-ai/whisper-small-ita、およびLitus AIの独自モデルlitus-proprietaryの、イタリア語の会議や音声通話の独自ベンチマークにおける精度を確認できます。

結論

モデルのアーキテクチャ、事前学習に使用されたデータ、および意図された使用法に関する詳細情報については、論文、モデルカード、およびリポジトリを参照してください。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。