Parakeet Tdt 0.6b V2

🚀 鹦鹉螺TDT 0.6B V2（英文）

parakeet-tdt-0.6b-v2 是一款拥有6亿参数的自动语音识别（ASR）模型，专为高质量英文转录而设计。它支持标点符号、大小写处理以及准确的时间戳预测。点击此处试用演示：https://huggingface.co/spaces/nvidia/parakeet-tdt-0.6b-v2

🚀 快速开始

本模型适用于需要语音转文本功能的开发者、研究人员、学者和行业人士，可应用于对话式AI、语音助手、转录服务、字幕生成和语音分析平台等领域。

✨ 主要特性

• 准确的词级时间戳预测
• 自动添加标点和大小写
• 在口语数字和歌词转录方面表现出色

📦 安装指南

若要训练、微调或使用该模型，你需要安装 NVIDIA NeMo。建议在安装最新版本的PyTorch之后再进行安装。

pip install -U nemo_toolkit["asr"]

💻 使用示例

基础用法

自动实例化模型：

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v2")

高级用法

使用Python进行转录：

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

output = asr_model.transcribe(['2086-149220-0033.wav'])
print(output[0].text)

转录并获取时间戳：

output = asr_model.transcribe(['2086-149220-0033.wav'], timestamps=True)
# 默认情况下，时间戳适用于字符、单词和片段级别
word_timestamps = output[0].timestamp['word'] # 第一个样本的单词级时间戳
segment_timestamps = output[0].timestamp['segment'] # 片段级时间戳
char_timestamps = output[0].timestamp['char'] # 字符级时间戳

for stamp in segment_timestamps:
    print(f"{stamp['start']}s - {stamp['end']}s : {stamp['segment']}")

📚 详细文档

模型信息

软件集成

• 运行时引擎：NeMo 2.2
• 支持的硬件微架构：NVIDIA Ampere、NVIDIA Blackwell、NVIDIA Hopper、NVIDIA Volta
• 推荐/支持的操作系统：Linux
• 硬件特定要求：至少2GB RAM用于加载模型，RAM越大，支持的音频输入越大。

训练和评估

训练

该模型使用NeMo工具包进行训练，具体策略如下：

• 从在LibriLight数据集上使用wav2vec方法预训练的FastConformer SSL检查点初始化。
• 在64个A100 GPU上进行150,000步训练。
• 使用温度采样值0.5平衡数据集语料库。
• 在4个A100 GPU上使用约500小时的高质量人工转录数据进行2,500步的第二阶段微调。

训练使用了 示例脚本 和 TDT配置。分词器使用 脚本 从训练集转录构建。

训练数据集

模型在Granary数据集上训练，包含约120,000小时的英文语音数据：

• 10,000小时来自人工转录的NeMo ASR Set 3.0，包括LibriSpeech、Fisher Corpus等。
• 110,000小时来自伪标签数据，包括YTC、YODAS和Librilight。

所有转录都保留了标点和大小写。Granary数据集将在2025年Interspeech会议展示后公开。

评估数据集

使用Huggingface Open ASR Leaderboard数据集评估模型性能。

性能

基础性能

噪声鲁棒性

电话音频性能

这些WER分数是在不使用外部语言模型的情况下使用贪心解码获得的。更多评估细节可在 Hugging Face ASR Leaderboard 上查看。

推理

• 引擎：NVIDIA NeMo
• 测试硬件：NVIDIA A10、NVIDIA A100、NVIDIA A30、NVIDIA H100、NVIDIA L4、NVIDIA L40、NVIDIA Turing T4、NVIDIA Volta V100

伦理考量

NVIDIA认为可信AI是一项共同责任，并制定了相关政策和实践，以支持各种AI应用的开发。开发者在下载或使用该模型时，应与支持模型团队合作，确保模型符合相关行业和用例的要求，并解决潜在的产品滥用问题。

如需了解该模型的更多伦理考量信息，请参阅 Model Card++ Explainability, Bias, Safety & Security, and Privacy Subcards。

请在此 报告安全漏洞或NVIDIA AI问题。

偏差

可解释性

隐私

安全

🔧 技术细节

parakeet-tdt-0.6b-v2 是FastConformer架构的XL变体，集成了TDT解码器，并采用全注意力机制进行训练，能够高效转录长达24分钟的音频片段。该模型在HF-Open-ASR排行榜上，批量大小为128时，RTFx达到3380。

📄 许可证

使用此模型受 CC-BY-4.0 许可协议的约束。

参考文献

[1] Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition [2] Efficient Sequence Transduction by Jointly Predicting Tokens and Durations [3] NVIDIA NeMo Toolkit [4] Youtube-commons: A massive open corpus for conversational and multimodal data [5] Yodas: Youtube-oriented dataset for audio and speech [6] HuggingFace ASR Leaderboard [7] MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages