Fireredasr AED L

🚀 FireRedASR：开源工业级自动语音识别模型

FireRedASR是一系列开源的工业级自动语音识别（ASR）模型，支持普通话、中文方言和英语。该模型在公开的普通话ASR基准测试中达到了新的最优水平（SOTA），同时还具备出色的歌词识别能力。

🚀 快速开始

下载模型

从 huggingface 下载模型文件，并将其放置在 pretrained_models 文件夹中。

如果你想使用 FireRedASR-LLM-L，还需要下载 Qwen2-7B-Instruct 并将其放置在 pretrained_models 文件夹中。然后，进入 FireRedASR-LLM-L 文件夹并运行 $ ln -s ../Qwen2-7B-Instruct。

环境搭建

创建Python环境并安装依赖：

$ git clone https://github.com/FireRedTeam/FireRedASR.git
$ conda create --name fireredasr python=3.10
$ pip install -r requirements.txt

设置Linux的PATH和PYTHONPATH：

$ export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
$ export PYTHONPATH=$PWD/:$PYTHONPATH

将音频转换为16kHz 16位PCM格式：

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

快速启动

$ cd examples/
$ bash inference_fireredasr_aed.sh
$ bash inference_fireredasr_llm.sh

命令行使用

$ speech2text.py --help
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

Python使用示例

基础用法

from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = ["BAC009S0764W0121"]
batch_wav_path = ["examples/wav/BAC009S0764W0121.wav"]

# FireRedASR-AED
model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.0,
        "aed_length_penalty": 0.0,
        "eos_penalty": 1.0
    }
)
print(results)


# FireRedASR-LLM
model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 1.0,
        "llm_length_penalty": 0.0,
        "temperature": 1.0
    }
)
print(results)

✨ 主要特性

FireRedASR旨在满足各种应用中对卓越性能和最佳效率的多样化需求。它包含两个变体：

• FireRedASR-LLM：旨在实现最优性能（SOTA），并实现无缝的端到端语音交互。它采用了编码器 - 适配器 - 大语言模型（LLM）框架，充分利用了大语言模型的能力。
• FireRedASR-AED：旨在平衡高性能和计算效率，并作为基于大语言模型的语音模型中的有效语音表示模块。它采用了基于注意力机制的编码器 - 解码器（AED）架构。

📚 详细文档

评估指标

结果以中文的字符错误率（CER%）和英文的单词错误率（WER%）报告。

公开普通话ASR基准测试评估

ws 表示WenetSpeech。

公开中文方言和英文ASR基准测试评估

💡 使用建议

批量束搜索

• 当使用FireRedASR-LLM进行批量束搜索时，请确保输入的语音长度相似。如果语音长度差异较大，较短的语音可能会出现重复问题。你可以按长度对数据集进行排序，或者将 batch_size 设置为1以避免重复问题。

输入长度限制

• FireRedASR-AED支持最长60秒的音频输入。超过60秒的输入可能会导致幻觉问题，超过200秒的输入将触发位置编码错误。
• FireRedASR-LLM支持最长30秒的音频输入。目前，对于更长输入的行为未知。

🔗 相关链接

• 代码
• 论文
• 模型
• 博客

🔥 最新消息

• [2025/02/17] 我们发布了 FireRedASR-LLM-L 模型权重。
• [2025/01/24] 我们发布了 技术报告、博客 和 FireRedASR-AED-L 模型权重。

🙏 致谢

感谢以下开源项目：

• Qwen2-7B-Instruct
• icefall/ASR_LLM
• WeNet
• Speech-Transformer

📄 许可证

本项目采用Apache-2.0许可证。