Whisper Small Ita

🚀 意大利語優化版Whisper小模型

本模型是專為意大利語優化的 openai/whisper-small 版本，使用了 Litus AI 的部分專有數據進行訓練。litus-ai/whisper-small-ita 在性能和成本之間取得了很好的平衡，非常適合計算預算有限但仍需準確語音轉錄的場景。

📄 許可證

本模型採用 Apache-2.0 許可證。

🔍 模型信息

✨ 主要特性

該模型的主要特點是集成了特殊標記，這些標記能為轉錄內容添加元信息：

• 副語言元素：[LAUGH]（笑聲）、[MHMH]（嗯嗯聲）、[SIGH]（嘆息聲）、[UHM]（語氣詞）
• 音頻質量：[NOISE]（噪音）、[UNINT]（聽不清）
• 語音特徵：[AUTOCOR]（自動糾錯）、[L-EN]（英語代碼切換）

這些標記使得轉錄內容更加豐富，不僅能捕捉語音內容，還能記錄相關的上下文元素。

📊 評估結果

在下圖中，你可以看到 openai/whisper-small、openai/whisper-medium、litus-ai/whisper-small-ita 以及 Litus AI 的專有模型 litus-proprietary 在意大利語會議和語音通話的專有基準測試中的準確率。

💻 使用示例

基礎用法

from transformers import WhisperProcessor, WhisperForConditionalGeneration
from datasets import load_dataset

# load model and processor
model_id = "litus-ai/whisper-small-ita"
processor = WhisperProcessor.from_pretrained(model_id)
model = WhisperForConditionalGeneration.from_pretrained(model_id)

# load Meta voxpopuli in italian
ds = load_dataset("facebook/voxpopuli", "it", split="test")
sample = ds[171]["audio"]  # sample having an "[UNINT]" token

input_features = processor(
  sample["array"],
  sampling_rate=sample["sampling_rate"],
  return_tensors="pt",
).input_features 

# generate token ids
predicted_ids = model.generate(input_features)

# decode token ids to text
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)
# ["<|startoftranscript|><|it|><|transcribe|><|notimestamps|> Siamo all'ultimo miglio, non sprechiamo un'occasione per dimostrare che siamo autonomi [UNINT]<|endoftext|>"]

📚 詳細文檔

如需瞭解有關模型架構、預訓練數據和預期用途的任何信息，請參考原始 論文、模型卡片 和 倉庫。