Parakeet Tdt 0.6b V2

🚀 鸚鵡螺TDT 0.6B V2（英文）

parakeet-tdt-0.6b-v2 是一款擁有6億參數的自動語音識別（ASR）模型，專為高質量英文轉錄而設計。它支持標點符號、大小寫處理以及準確的時間戳預測。點擊此處試用演示：https://huggingface.co/spaces/nvidia/parakeet-tdt-0.6b-v2

🚀 快速開始

本模型適用於需要語音轉文本功能的開發者、研究人員、學者和行業人士，可應用於對話式AI、語音助手、轉錄服務、字幕生成和語音分析平臺等領域。

✨ 主要特性

• 準確的詞級時間戳預測
• 自動添加標點和大小寫
• 在口語數字和歌詞轉錄方面表現出色

📦 安裝指南

若要訓練、微調或使用該模型，你需要安裝 NVIDIA NeMo。建議在安裝最新版本的PyTorch之後再進行安裝。

pip install -U nemo_toolkit["asr"]

💻 使用示例

基礎用法

自動實例化模型：

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v2")

高級用法

使用Python進行轉錄：

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

output = asr_model.transcribe(['2086-149220-0033.wav'])
print(output[0].text)

轉錄並獲取時間戳：

output = asr_model.transcribe(['2086-149220-0033.wav'], timestamps=True)
# 默認情況下，時間戳適用於字符、單詞和片段級別
word_timestamps = output[0].timestamp['word'] # 第一個樣本的單詞級時間戳
segment_timestamps = output[0].timestamp['segment'] # 片段級時間戳
char_timestamps = output[0].timestamp['char'] # 字符級時間戳

for stamp in segment_timestamps:
    print(f"{stamp['start']}s - {stamp['end']}s : {stamp['segment']}")

📚 詳細文檔

模型信息

軟件集成

• 運行時引擎：NeMo 2.2
• 支持的硬件微架構：NVIDIA Ampere、NVIDIA Blackwell、NVIDIA Hopper、NVIDIA Volta
• 推薦/支持的操作系統：Linux
• 硬件特定要求：至少2GB RAM用於加載模型，RAM越大，支持的音頻輸入越大。

訓練和評估

訓練

該模型使用NeMo工具包進行訓練，具體策略如下：

• 從在LibriLight數據集上使用wav2vec方法預訓練的FastConformer SSL檢查點初始化。
• 在64個A100 GPU上進行150,000步訓練。
• 使用溫度採樣值0.5平衡數據集語料庫。
• 在4個A100 GPU上使用約500小時的高質量人工轉錄數據進行2,500步的第二階段微調。

訓練使用了 示例腳本 和 TDT配置。分詞器使用 腳本 從訓練集轉錄構建。

訓練數據集

模型在Granary數據集上訓練，包含約120,000小時的英文語音數據：

• 10,000小時來自人工轉錄的NeMo ASR Set 3.0，包括LibriSpeech、Fisher Corpus等。
• 110,000小時來自偽標籤數據，包括YTC、YODAS和Librilight。

所有轉錄都保留了標點和大小寫。Granary數據集將在2025年Interspeech會議展示後公開。

評估數據集

使用Huggingface Open ASR Leaderboard數據集評估模型性能。

性能

基礎性能

噪聲魯棒性

電話音頻性能

這些WER分數是在不使用外部語言模型的情況下使用貪心解碼獲得的。更多評估細節可在 Hugging Face ASR Leaderboard 上查看。

推理

• 引擎：NVIDIA NeMo
• 測試硬件：NVIDIA A10、NVIDIA A100、NVIDIA A30、NVIDIA H100、NVIDIA L4、NVIDIA L40、NVIDIA Turing T4、NVIDIA Volta V100

倫理考量

NVIDIA認為可信AI是一項共同責任，並制定了相關政策和實踐，以支持各種AI應用的開發。開發者在下載或使用該模型時，應與支持模型團隊合作，確保模型符合相關行業和用例的要求，並解決潛在的產品濫用問題。

如需瞭解該模型的更多倫理考量信息，請參閱 Model Card++ Explainability, Bias, Safety & Security, and Privacy Subcards。

請在此 報告安全漏洞或NVIDIA AI問題。

偏差

可解釋性

隱私

安全

🔧 技術細節

parakeet-tdt-0.6b-v2 是FastConformer架構的XL變體，集成了TDT解碼器，並採用全注意力機制進行訓練，能夠高效轉錄長達24分鐘的音頻片段。該模型在HF-Open-ASR排行榜上，批量大小為128時，RTFx達到3380。

📄 許可證

使用此模型受 CC-BY-4.0 許可協議的約束。

參考文獻

[1] Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition [2] Efficient Sequence Transduction by Jointly Predicting Tokens and Durations [3] NVIDIA NeMo Toolkit [4] Youtube-commons: A massive open corpus for conversational and multimodal data [5] Yodas: Youtube-oriented dataset for audio and speech [6] HuggingFace ASR Leaderboard [7] MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages