Whisper Large V3 Turbo Turkish

🚀 Whisper Large v3 Turbo TR - Selim Çavaş

本模型是在Common Voice 17.0數據集上對openai/whisper-large-v3-turbo進行微調後的版本。它在評估集上取得了以下成果，能夠高效處理土耳其語語音相關任務，為語音識別和處理領域提供了強大支持。

🚀 快速開始

本模型可用於多種應用場景，以下是使用該模型的基本步驟和示例代碼。

✨ 主要特性

• 多場景應用：可用於土耳其語的轉錄、語音命令以及土耳其語視頻的自動字幕生成等。
• 微調優化：基於Common Voice 17.0數據集對基礎模型進行微調，提升了在特定任務上的性能。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方安裝說明進行安裝。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "selimc/whisper-large-v3-turbo-turkish"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    chunk_length_s=30,
    batch_size=16,
    return_timestamps=True,
    torch_dtype=torch_dtype,
    device=device,
)

result = pipe("test.mp3")
print(result["text"])

📚 詳細文檔

預期用途與限制

本模型可用於多個應用領域，包括：

• 土耳其語轉錄
• 語音命令
• 土耳其語視頻的自動字幕

訓練情況

由於Colab GPU的限制，僅使用了Common Voice 17.0數據集中25%的土耳其語數據進行訓練。如果您有閒置的GPU，歡迎合作，進一步提升該模型的性能！

訓練超參數

訓練過程中使用了以下超參數：

訓練結果

框架版本

• Transformers 4.45.2
• Pytorch 2.4.1+cu121
• Datasets 3.0.1
• Tokenizers 0.20.1

📄 許可證

本項目採用MIT許可證。