Fsmn Vad

🚀 FunASR：一个基础的端到端语音识别工具包

FunASR 旨在搭建一座连接语音识别学术研究与工业应用的桥梁。通过支持工业级语音识别模型的训练和微调，研究人员和开发者能够更便捷地开展语音识别模型的研究和生产工作，推动语音识别生态的发展。让语音识别充满乐趣！

亮点 | 新闻 | 安装 | 快速开始 | 运行时 | 模型库 | 联系我们

✨ 主要特性

• FunASR 是一个基础的语音识别工具包，具备多种功能，包括语音识别（ASR）、语音活动检测（VAD）、标点恢复、语言模型、说话人验证、说话人分割和多说话人语音识别。FunASR 提供了便捷的脚本和教程，支持预训练模型的推理和微调。
• 我们在 ModelScope 和 huggingface 上发布了大量学术和工业预训练模型，可通过我们的 模型库 访问。具有代表性的 Paraformer-large 是一种非自回归端到端语音识别模型，具有准确率高、效率高和部署方便的优点，支持快速构建语音识别服务。有关服务部署的更多详细信息，请参考 服务部署文档。

📦 安装指南

通过 PyPI 安装

pip3 install -U funasr

从源代码安装

git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./

可选：为预训练模型安装 modelscope

pip3 install -U modelscope

📚 模型库

FunASR 已经在工业数据上开源了大量预训练模型。您可以在 模型许可协议 下自由使用、复制、修改和共享 FunASR 模型。以下是一些有代表性的模型，更多模型请参考 模型库。

(注：🤗 代表 Huggingface 模型库链接，⭐ 代表 ModelScope 模型库链接)

🚀 快速开始

以下是一个快速入门教程。测试音频文件（普通话，英语）。

命令行使用

funasr +model=paraformer-zh +vad_model="fsmn-vad" +punc_model="ct-punc" +input=asr_example_zh.wav

注意：支持识别单个音频文件，以及 Kaldi 风格的 wav.scp 格式的文件列表：wav_id wav_pat

💻 使用示例

基础用法

语音识别（非流式）

from funasr import AutoModel
# paraformer-zh 是一个多功能的 ASR 模型
# 根据需要使用 vad、punc、spk
model = AutoModel(model="paraformer-zh", model_revision="v2.0.4",
                  vad_model="fsmn-vad", vad_model_revision="v2.0.4",
                  punc_model="ct-punc-c", punc_model_revision="v2.0.4",
                  # spk_model="cam++", spk_model_revision="v2.0.2",
                  )
res = model.generate(input=f"{model.model_path}/example/asr_example.wav", 
                     batch_size_s=300, 
                     hotword='魔搭')
print(res)

注意：model_hub 表示模型仓库，ms 表示选择 ModelScope 下载，hf 表示选择 Huggingface 下载。

语音识别（流式）

from funasr import AutoModel

chunk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
encoder_chunk_look_back = 4 # 编码器自注意力的回溯块数
decoder_chunk_look_back = 1 # 解码器交叉注意力的编码器回溯块数

model = AutoModel(model="paraformer-zh-streaming", model_revision="v2.0.4")

import soundfile
import os

wav_file = os.path.join(model.model_path, "example/asr_example.wav")
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = chunk_size[1] * 960 # 600ms

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size, encoder_chunk_look_back=encoder_chunk_look_back, decoder_chunk_look_back=decoder_chunk_look_back)
    print(res)

注意：chunk_size 是流式延迟的配置。 [0,10,5] 表示实时显示粒度为 10*60 = 600ms，前瞻信息为 5*60 = 300ms。每次推理输入为 600ms（采样点为 16000*0.6 = 960），输出为相应的文本。对于最后一个语音段输入，需要将 is_final 设置为 True 以强制输出最后一个单词。

语音活动检测（非流式）

from funasr import AutoModel

model = AutoModel(model="fsmn-vad", model_revision="v2.0.4")
wav_file = f"{model.model_path}/example/asr_example.wav"
res = model.generate(input=wav_file)
print(res)

语音活动检测（流式）

from funasr import AutoModel

chunk_size = 200 # ms
model = AutoModel(model="fsmn-vad", model_revision="v2.0.4")

import soundfile

wav_file = f"{model.model_path}/example/vad_example.wav"
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = int(chunk_size * sample_rate / 1000)

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size)
    if len(res[0]["value"]):
        print(res)

标点恢复

from funasr import AutoModel

model = AutoModel(model="ct-punc", model_revision="v2.0.4")
res = model.generate(input="那今天的会就到这里吧 happy new year 明年见")
print(res)

时间戳预测

from funasr import AutoModel

model = AutoModel(model="fa-zh", model_revision="v2.0.4")
wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.generate(input=(wav_file, text_file), data_type=("sound", "text"))
print(res)

更多示例请参考 文档

📄 许可证

本项目采用 Model License Agreement 许可协议。