Vi Whisper Large V3 Turbo V1

🚀 ベトナム語ASR用にファインチューニングされたWhisper-V3-Turbo

このプロジェクトでは、Whisper-V3-Turboモデルをファインチューニングし、ベトナム語の自動音声認識（ASR）性能を向上させています。このモデルは、単一のNvidia A6000 GPUを使用して240時間トレーニングされました。

🚀 クイックスタート

このファインチューニングされたモデルを使用するには、以下の手順に従ってください。

基本的な使用法

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "suzii/vi-whisper-large-v3-turbo-v1"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    torch_dtype=torch_dtype,
    device=device,
)
result = pipe("your-audio.mp3", return_timestamps=True)

✨ 主な機能

• ベトナム語の自動音声認識（ASR）性能を向上させるために、Whisper-V3-Turboモデルをファインチューニング。
• 単一のNvidia A6000 GPUを使用して240時間トレーニング。

📦 インストール

このセクションでは、インストールに関する具体的な手順が提供されていないため、省略します。

📚 ドキュメント

データソース

トレーニングデータは、様々なベトナム語の音声コーパスから収集されました。以下は、トレーニングに使用されたデータセットのリストです。

1. capleaf/viVoice
2. NhutP/VSV-1100
3. doof-ferb/fpt_fosd
4. doof-ferb/infore1_25hours
5. google/fleurs (vi_vn)
6. doof-ferb/LSVSC
7. quocanh34/viet_vlsp
8. linhtran92/viet_youtube_asr_corpus_v2
9. doof-ferb/infore2_audiobooks
10. linhtran92/viet_bud500

モデル

このプロジェクトで使用されているモデルは、Whisper-V3-Turboです。Whisperは、大規模かつ多様なデータセットでトレーニングされた多言語ASRモデルです。ここで使用されているバージョンは、ベトナム語に特化してファインチューニングされています。

トレーニング設定

🔧 技術詳細

このセクションでは、具体的な技術的な詳細が提供されていないため、省略します。

📄 ライセンス

このセクションでは、ライセンスに関する情報が提供されていないため、省略します。

謝辞

このプロジェクトは、以下のデータセットがなければ実現できませんでした。

• capleaf/viVoice
• NhutP/VSV-1100
• doof-ferb/fpt_fosd
• doof-ferb/infore1_25hours
• google/fleurs
• doof-ferb/LSVSC
• quocanh34/viet_vlsp
• linhtran92/viet_youtube_asr_corpus_v2
• doof-ferb/infore2_audiobooks
• linhtran92/viet_bud500