Paraformer Large

🚀 並行預測變換器（Paraformer）語音識別項目

本項目基於Paraformer模型，結合funasr_onnx運行時，實現高效的端到端語音識別。Paraformer作為創新的非自迴歸模型，在推理效率上有顯著優勢，能大幅降低語音識別雲服務的機器成本。項目模型基於大規模中文數據集訓練，在相關排行榜上表現優異。

🚀 快速開始

安裝依賴

pip install -U funasr_onnx
# 國內用戶可以使用以下命令安裝：
# pip install -U funasr_onnx -i https://mirror.sjtu.edu.cn/pypi/web/simple

下載模型

git clone https://huggingface.co/funasr/paraformer-large

運行推理

from funasr_onnx import Paraformer

model_dir = "./paraformer-large"
model = Paraformer(model_dir, batch_size=1, quantize=True)

wav_path = ['./funasr/paraformer-large/asr_example.wav']

result = model(wav_path)
print(result)

✨ 主要特性

• 高效推理：Paraformer 是一種創新的非自迴歸端到端語音識別模型，能夠並行生成整句的目標文本，非常適合使用 GPU 進行並行推理，可將語音識別雲服務的機器成本降低近 10 倍。
• 性能卓越：在工業規模數據上，Paraformer 可以達到與自迴歸模型相同的性能，其性能在 SpeechIO 排行榜 上名列前茅。
• 模型豐富：項目發佈了眾多工業級模型，涵蓋語音識別、語音活動檢測、標點恢復、說話人驗證、說話人分割和時間戳預測（強制對齊）等領域。

💻 使用示例

基礎用法

from funasr_onnx import Paraformer

model_dir = "./paraformer-large"
model = Paraformer(model_dir, batch_size=1, quantize=True)

wav_path = ['./funasr/paraformer-large/asr_example.wav']

result = model(wav_path)
print(result)

參數說明

• model_dir：模型路徑，包含 model.onnx、config.yaml、am.mvn。
• batch_size：默認為 1，推理時的批量大小。
• device_id：默認為 -1，在 CPU 上推理。如果要在 GPU 上推理，請設置為 GPU ID（請確保已安裝 onnxruntime-gpu）。
• quantize：默認為 False，加載 model_dir 中的 model.onnx 模型。如果設置為 True，則加載 model_dir 中的 model_quant.onnx 模型。
• intra_op_num_threads：默認為 4，設置 CPU 上用於操作內並行的線程數。

輸入輸出

• 輸入：wav 格式文件，支持格式：str, np.ndarray, List[str]。
• 輸出：List[str]，識別結果。

📚 詳細文檔

更多關於模型的詳細信息，請參考 FunASR 文檔。

🔧 技術細節

Paraformer 是一種非自迴歸的端到端語音識別模型，與傳統的自迴歸模型不同，它可以並行生成整個句子的目標文本。這種並行生成的能力使得 Paraformer 在使用 GPU 進行並行推理時具有顯著的效率優勢。模型基於 FunASR 訓練，使用了大規模的 60,000 小時中文數據集。

📄 許可證

本項目採用 Apache-2.0 許可證。

📊 性能基準

性能基準請參考 benchmark。

📖 引用

@inproceedings{gao2022paraformer,
  title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
  author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie},
  booktitle={INTERSPEECH},
  year={2022}
}