German RAG WHISPER LARGE V3 TURBO HESSIAN AI

🚀 德國-RAG-WHISPER-LARGE-v3-TURBO-HESSIAN-AI

該模型是基於自動語音識別任務，在精心挑選的13小時數據集上微調得到的模型，可有效提升德語語音識別的準確率。

🚀 快速開始

本模型基於transformers庫，以下是使用該模型進行自動語音識別的示例代碼：

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from datasets import load_dataset
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model_id = "avemio/German-RAG-WHISPER-LARGE-v3-TURBO"
model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)
processor = AutoProcessor.from_pretrained(model_id)
pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    max_new_tokens=128,
    chunk_length_s=30,
    batch_size=16,
    return_timestamps=True,
    torch_dtype=torch_dtype,
    device=device,
)
dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")
sample = dataset[0]["audio"]
result = pipe(sample)
print(result["text"])

✨ 主要特性

• 精心微調：在精心挑選的13小時數據集上進行微調，優化識別性能。
• 多數據集表現出色：在多個測試數據集上的單詞錯誤率表現良好。

📦 安裝指南

使用該模型前，你需要安裝以下依賴庫：

- Transformers 4.47.1
- Pytorch 2.5.1+cu121
- Datasets 3.2.0
- Tokenizers 0.21.0

📚 詳細文檔

評估 - 單詞錯誤率

評估數據和代碼可在此處獲取。

訓練數據

該模型的訓練數據包含德語口語對話，並混合了一些英語商務短語。數據經過精心挑選和處理，以優化識別性能。由於數據用於語音克隆的情況尚不明確，因此該數據集不會公開。收集的數據僅用於訓練語音轉文本模型的預期用途。

框架版本

🔧 技術細節

本模型基於openai/whisper-large-v3-turbo基礎模型，在特定的德語數據集上進行微調。通過在多個測試數據集上的評估，不斷優化模型參數，以降低單詞錯誤率，提高語音識別的準確性。

📄 許可證

本模型使用的是MIT許可證。

德國-RAG AI團隊

• Marcel Rosiak
• Soumya Paul
• Siavash Mollaebrahim
• Zain ul Haq