Fireredasr AED L

🚀 FireRedASR：開源工業級自動語音識別模型

FireRedASR是一系列開源的工業級自動語音識別（ASR）模型，支持普通話、中文方言和英語。該模型在公開的普通話ASR基準測試中達到了新的最優水平（SOTA），同時還具備出色的歌詞識別能力。

🚀 快速開始

下載模型

從 huggingface 下載模型文件，並將其放置在 pretrained_models 文件夾中。

如果你想使用 FireRedASR-LLM-L，還需要下載 Qwen2-7B-Instruct 並將其放置在 pretrained_models 文件夾中。然後，進入 FireRedASR-LLM-L 文件夾並運行 $ ln -s ../Qwen2-7B-Instruct。

環境搭建

創建Python環境並安裝依賴：

$ git clone https://github.com/FireRedTeam/FireRedASR.git
$ conda create --name fireredasr python=3.10
$ pip install -r requirements.txt

設置Linux的PATH和PYTHONPATH：

$ export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
$ export PYTHONPATH=$PWD/:$PYTHONPATH

將音頻轉換為16kHz 16位PCM格式：

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

快速啟動

$ cd examples/
$ bash inference_fireredasr_aed.sh
$ bash inference_fireredasr_llm.sh

命令行使用

$ speech2text.py --help
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

Python使用示例

基礎用法

from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = ["BAC009S0764W0121"]
batch_wav_path = ["examples/wav/BAC009S0764W0121.wav"]

# FireRedASR-AED
model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.0,
        "aed_length_penalty": 0.0,
        "eos_penalty": 1.0
    }
)
print(results)


# FireRedASR-LLM
model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 1.0,
        "llm_length_penalty": 0.0,
        "temperature": 1.0
    }
)
print(results)

✨ 主要特性

FireRedASR旨在滿足各種應用中對卓越性能和最佳效率的多樣化需求。它包含兩個變體：

• FireRedASR-LLM：旨在實現最優性能（SOTA），並實現無縫的端到端語音交互。它採用了編碼器 - 適配器 - 大語言模型（LLM）框架，充分利用了大語言模型的能力。
• FireRedASR-AED：旨在平衡高性能和計算效率，並作為基於大語言模型的語音模型中的有效語音表示模塊。它採用了基於注意力機制的編碼器 - 解碼器（AED）架構。

📚 詳細文檔

評估指標

結果以中文的字符錯誤率（CER%）和英文的單詞錯誤率（WER%）報告。

公開普通話ASR基準測試評估

ws 表示WenetSpeech。

公開中文方言和英文ASR基準測試評估

💡 使用建議

批量束搜索

• 當使用FireRedASR-LLM進行批量束搜索時，請確保輸入的語音長度相似。如果語音長度差異較大，較短的語音可能會出現重複問題。你可以按長度對數據集進行排序，或者將 batch_size 設置為1以避免重複問題。

輸入長度限制

• FireRedASR-AED支持最長60秒的音頻輸入。超過60秒的輸入可能會導致幻覺問題，超過200秒的輸入將觸發位置編碼錯誤。
• FireRedASR-LLM支持最長30秒的音頻輸入。目前，對於更長輸入的行為未知。

🔗 相關鏈接

• 代碼
• 論文
• 模型
• 博客

🔥 最新消息

• [2025/02/17] 我們發佈了 FireRedASR-LLM-L 模型權重。
• [2025/01/24] 我們發佈了 技術報告、博客 和 FireRedASR-AED-L 模型權重。

🙏 致謝

感謝以下開源項目：

• Qwen2-7B-Instruct
• icefall/ASR_LLM
• WeNet
• Speech-Transformer

📄 許可證

本項目採用Apache-2.0許可證。