Whisper Large V3 Turbo Turkish

🚀 Whisper Large v3 Turbo TR - Selim Çavaş

本模型是在Common Voice 17.0数据集上对openai/whisper-large-v3-turbo进行微调后的版本。它在评估集上取得了以下成果，能够高效处理土耳其语语音相关任务，为语音识别和处理领域提供了强大支持。

🚀 快速开始

本模型可用于多种应用场景，以下是使用该模型的基本步骤和示例代码。

✨ 主要特性

• 多场景应用：可用于土耳其语的转录、语音命令以及土耳其语视频的自动字幕生成等。
• 微调优化：基于Common Voice 17.0数据集对基础模型进行微调，提升了在特定任务上的性能。

📦 安装指南

文档未提及具体安装步骤，可参考transformers库的官方安装说明进行安装。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "selimc/whisper-large-v3-turbo-turkish"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    chunk_length_s=30,
    batch_size=16,
    return_timestamps=True,
    torch_dtype=torch_dtype,
    device=device,
)

result = pipe("test.mp3")
print(result["text"])

📚 详细文档

预期用途与限制

本模型可用于多个应用领域，包括：

• 土耳其语转录
• 语音命令
• 土耳其语视频的自动字幕

训练情况

由于Colab GPU的限制，仅使用了Common Voice 17.0数据集中25%的土耳其语数据进行训练。如果您有闲置的GPU，欢迎合作，进一步提升该模型的性能！

训练超参数

训练过程中使用了以下超参数：

训练结果

框架版本

• Transformers 4.45.2
• Pytorch 2.4.1+cu121
• Datasets 3.0.1
• Tokenizers 0.20.1

📄 许可证

本项目采用MIT许可证。