Paraformer Large

🚀 并行预测变换器（Paraformer）语音识别项目

本项目基于Paraformer模型，结合funasr_onnx运行时，实现高效的端到端语音识别。Paraformer作为创新的非自回归模型，在推理效率上有显著优势，能大幅降低语音识别云服务的机器成本。项目模型基于大规模中文数据集训练，在相关排行榜上表现优异。

🚀 快速开始

安装依赖

pip install -U funasr_onnx
# 国内用户可以使用以下命令安装：
# pip install -U funasr_onnx -i https://mirror.sjtu.edu.cn/pypi/web/simple

下载模型

git clone https://huggingface.co/funasr/paraformer-large

运行推理

from funasr_onnx import Paraformer

model_dir = "./paraformer-large"
model = Paraformer(model_dir, batch_size=1, quantize=True)

wav_path = ['./funasr/paraformer-large/asr_example.wav']

result = model(wav_path)
print(result)

✨ 主要特性

• 高效推理：Paraformer 是一种创新的非自回归端到端语音识别模型，能够并行生成整句的目标文本，非常适合使用 GPU 进行并行推理，可将语音识别云服务的机器成本降低近 10 倍。
• 性能卓越：在工业规模数据上，Paraformer 可以达到与自回归模型相同的性能，其性能在 SpeechIO 排行榜 上名列前茅。
• 模型丰富：项目发布了众多工业级模型，涵盖语音识别、语音活动检测、标点恢复、说话人验证、说话人分割和时间戳预测（强制对齐）等领域。

💻 使用示例

基础用法

from funasr_onnx import Paraformer

model_dir = "./paraformer-large"
model = Paraformer(model_dir, batch_size=1, quantize=True)

wav_path = ['./funasr/paraformer-large/asr_example.wav']

result = model(wav_path)
print(result)

参数说明

• model_dir：模型路径，包含 model.onnx、config.yaml、am.mvn。
• batch_size：默认为 1，推理时的批量大小。
• device_id：默认为 -1，在 CPU 上推理。如果要在 GPU 上推理，请设置为 GPU ID（请确保已安装 onnxruntime-gpu）。
• quantize：默认为 False，加载 model_dir 中的 model.onnx 模型。如果设置为 True，则加载 model_dir 中的 model_quant.onnx 模型。
• intra_op_num_threads：默认为 4，设置 CPU 上用于操作内并行的线程数。

输入输出

• 输入：wav 格式文件，支持格式：str, np.ndarray, List[str]。
• 输出：List[str]，识别结果。

📚 详细文档

更多关于模型的详细信息，请参考 FunASR 文档。

🔧 技术细节

Paraformer 是一种非自回归的端到端语音识别模型，与传统的自回归模型不同，它可以并行生成整个句子的目标文本。这种并行生成的能力使得 Paraformer 在使用 GPU 进行并行推理时具有显著的效率优势。模型基于 FunASR 训练，使用了大规模的 60,000 小时中文数据集。

📄 许可证

本项目采用 Apache-2.0 许可证。

📊 性能基准

性能基准请参考 benchmark。

📖 引用

@inproceedings{gao2022paraformer,
  title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
  author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie},
  booktitle={INTERSPEECH},
  year={2022}
}