🚀 並行預測變換器(Paraformer)語音識別項目
本項目基於Paraformer模型,結合funasr_onnx運行時,實現高效的端到端語音識別。Paraformer作為創新的非自迴歸模型,在推理效率上有顯著優勢,能大幅降低語音識別雲服務的機器成本。項目模型基於大規模中文數據集訓練,在相關排行榜上表現優異。
🚀 快速開始
安裝依賴
pip install -U funasr_onnx
# 國內用戶可以使用以下命令安裝:
# pip install -U funasr_onnx -i https://mirror.sjtu.edu.cn/pypi/web/simple
下載模型
git clone https://huggingface.co/funasr/paraformer-large
運行推理
from funasr_onnx import Paraformer
model_dir = "./paraformer-large"
model = Paraformer(model_dir, batch_size=1, quantize=True)
wav_path = ['./funasr/paraformer-large/asr_example.wav']
result = model(wav_path)
print(result)
✨ 主要特性
- 高效推理:Paraformer 是一種創新的非自迴歸端到端語音識別模型,能夠並行生成整句的目標文本,非常適合使用 GPU 進行並行推理,可將語音識別雲服務的機器成本降低近 10 倍。
- 性能卓越:在工業規模數據上,Paraformer 可以達到與自迴歸模型相同的性能,其性能在 SpeechIO 排行榜 上名列前茅。
- 模型豐富:項目發佈了眾多工業級模型,涵蓋語音識別、語音活動檢測、標點恢復、說話人驗證、說話人分割和時間戳預測(強制對齊)等領域。
💻 使用示例
基礎用法
from funasr_onnx import Paraformer
model_dir = "./paraformer-large"
model = Paraformer(model_dir, batch_size=1, quantize=True)
wav_path = ['./funasr/paraformer-large/asr_example.wav']
result = model(wav_path)
print(result)
參數說明
model_dir
:模型路徑,包含 model.onnx
、config.yaml
、am.mvn
。
batch_size
:默認為 1
,推理時的批量大小。
device_id
:默認為 -1
,在 CPU 上推理。如果要在 GPU 上推理,請設置為 GPU ID(請確保已安裝 onnxruntime-gpu)。
quantize
:默認為 False
,加載 model_dir
中的 model.onnx
模型。如果設置為 True
,則加載 model_dir
中的 model_quant.onnx
模型。
intra_op_num_threads
:默認為 4
,設置 CPU 上用於操作內並行的線程數。
輸入輸出
- 輸入:wav 格式文件,支持格式:
str, np.ndarray, List[str]
。
- 輸出:
List[str]
,識別結果。
📚 詳細文檔
更多關於模型的詳細信息,請參考 FunASR 文檔。
🔧 技術細節
Paraformer 是一種非自迴歸的端到端語音識別模型,與傳統的自迴歸模型不同,它可以並行生成整個句子的目標文本。這種並行生成的能力使得 Paraformer 在使用 GPU 進行並行推理時具有顯著的效率優勢。模型基於 FunASR 訓練,使用了大規模的 60,000 小時中文數據集。
📄 許可證
本項目採用 Apache-2.0 許可證。
📊 性能基準
性能基準請參考 benchmark。
📖 引用
@inproceedings{gao2022paraformer,
title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie},
booktitle={INTERSPEECH},
year={2022}
}
屬性 |
詳情 |
模型類型 |
非自迴歸端到端語音識別模型 |
訓練數據 |
60,000 小時中文數據集 |
評估指標 |
準確率、字符錯誤率 |
任務類型 |
自動語音識別 |
相關標籤 |
Paraformer、FunASR、ASR |