German RAG WHISPER LARGE V3 TURBO HESSIAN AI

🚀 德国-RAG-WHISPER-LARGE-v3-TURBO-HESSIAN-AI

该模型是基于自动语音识别任务，在精心挑选的13小时数据集上微调得到的模型，可有效提升德语语音识别的准确率。

🚀 快速开始

本模型基于transformers库，以下是使用该模型进行自动语音识别的示例代码：

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from datasets import load_dataset
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model_id = "avemio/German-RAG-WHISPER-LARGE-v3-TURBO"
model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)
processor = AutoProcessor.from_pretrained(model_id)
pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    max_new_tokens=128,
    chunk_length_s=30,
    batch_size=16,
    return_timestamps=True,
    torch_dtype=torch_dtype,
    device=device,
)
dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")
sample = dataset[0]["audio"]
result = pipe(sample)
print(result["text"])

✨ 主要特性

• 精心微调：在精心挑选的13小时数据集上进行微调，优化识别性能。
• 多数据集表现出色：在多个测试数据集上的单词错误率表现良好。

📦 安装指南

使用该模型前，你需要安装以下依赖库：

- Transformers 4.47.1
- Pytorch 2.5.1+cu121
- Datasets 3.2.0
- Tokenizers 0.21.0

📚 详细文档

评估 - 单词错误率

评估数据和代码可在此处获取。

训练数据

该模型的训练数据包含德语口语对话，并混合了一些英语商务短语。数据经过精心挑选和处理，以优化识别性能。由于数据用于语音克隆的情况尚不明确，因此该数据集不会公开。收集的数据仅用于训练语音转文本模型的预期用途。

框架版本

🔧 技术细节

本模型基于openai/whisper-large-v3-turbo基础模型，在特定的德语数据集上进行微调。通过在多个测试数据集上的评估，不断优化模型参数，以降低单词错误率，提高语音识别的准确性。

📄 许可证

本模型使用的是MIT许可证。

德国-RAG AI团队

• Marcel Rosiak
• Soumya Paul
• Siavash Mollaebrahim
• Zain ul Haq