Vi Whisper Large V3 Turbo V1

🚀 用於越南語自動語音識別的微調版Whisper-V3-Turbo

本項目對Whisper-V3-Turbo模型進行微調，以提升其在越南語自動語音識別（ASR）任務中的性能。該模型使用單張Nvidia A6000 GPU進行了240小時的訓練。

🚀 快速開始

要使用微調後的模型，請按照以下步驟操作：

基礎用法

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "suzii/vi-whisper-large-v3-turbo-v1"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    torch_dtype=torch_dtype,
    device=device,
)
result = pipe("your-audio.mp3", return_timestamps=True)

✨ 主要特性

本項目將Whisper-V3-Turbo模型針對越南語自動語音識別任務進行了微調，有效提升了該模型在越南語語音識別方面的性能。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過此章節。

📚 詳細文檔

數據來源

訓練數據來自多個越南語語音語料庫。以下是用於訓練的數據集列表：

1. capleaf/viVoice
2. NhutP/VSV-1100
3. doof-ferb/fpt_fosd
4. doof-ferb/infore1_25hours
5. google/fleurs (vi_vn)
6. doof-ferb/LSVSC
7. quocanh34/viet_vlsp
8. linhtran92/viet_youtube_asr_corpus_v2
9. doof-ferb/infore2_audiobooks
10. linhtran92/viet_bud500

模型

本項目使用的模型是Whisper-V3-Turbo。Whisper是一個在大規模多樣化數據集上訓練的多語言自動語音識別模型。本項目使用的版本是專門針對越南語進行微調的。

訓練配置

• 使用的GPU：Nvidia A6000
• 訓練時間：240小時
• Wandb報告

致謝

如果沒有以下數據集，本項目將無法完成：

• capleaf/viVoice
• NhutP/VSV-1100
• doof-ferb/fpt_fosd
• doof-ferb/infore1_25hours
• google/fleurs
• doof-ferb/LSVSC
• quocanh34/viet_vlsp
• linhtran92/viet_youtube_asr_corpus_v2
• doof-ferb/infore2_audiobooks
• linhtran92/viet_bud500

🔧 技術細節

文檔中未提供具體技術細節，故跳過此章節。

📄 許可證

文檔中未提及許可證信息，故跳過此章節。