🚀 FireRedASR: オープンソースの産業用自動音声認識モデル

FireRedASRは、中国語（標準語、方言）と英語をサポートするオープンソースの産業用自動音声認識（ASR）モデル群です。公開されている中国語ASRベンチマークで新たな最先端（SOTA）性能を達成し、歌詞認識能力も抜群です。

[コード] [論文] [モデル] [ブログ]

🚀 クイックスタート

FireRedASRを使用するには、まずモデルファイルをhuggingfaceからダウンロードし、pretrained_modelsフォルダに配置します。FireRedASR-LLM-Lを使用する場合は、Qwen2-7B-Instructもダウンロードして同じフォルダに配置し、FireRedASR-LLM-Lフォルダで$ ln -s ../Qwen2-7B-Instructを実行します。

セットアップ

Python環境を作成し、依存関係をインストールします。

$ git clone https://github.com/FireRedTeam/FireRedASR.git
$ conda create --name fireredasr python=3.10
$ pip install -r requirements.txt

LinuxのPATHとPYTHONPATHを設定します。

$ export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
$ export PYTHONPATH=$PWD/:$PYTHONPATH

音声を16kHz 16-bit PCM形式に変換します。

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

クイックスタート

$ cd examples
$ bash inference_fireredasr_aed.sh
$ bash inference_fireredasr_llm.sh

コマンドラインでの使用

$ speech2text.py --help
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

Pythonでの使用

from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = ["BAC009S0764W0121"]
batch_wav_path = ["examples/wav/BAC009S0764W0121.wav"]

# FireRedASR-AED
model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.25,
        "aed_length_penalty": 0.6,
        "eos_penalty": 1.0
    }
)
print(results)


# FireRedASR-LLM
model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 3.0,
        "llm_length_penalty": 1.0,
        "temperature": 1.0
    }
)
print(results)

✨ 主な機能

FireRedASRは、様々なアプリケーションにおける高性能と最適な効率の多様な要件を満たすように設計されています。2つのバリアントから構成されています。

• FireRedASR-LLM: 最先端（SOTA）の性能を達成し、シームレスなエンドツーエンドの音声対話を可能にするように設計されています。大規模言語モデル（LLM）の機能を活用したEncoder-Adapter-LLMフレームワークを採用しています。
• FireRedASR-AED: 高性能と計算効率のバランスを取り、LLMベースの音声モデルにおける効果的な音声表現モジュールとして機能するように設計されています。AttentionベースのEncoder-Decoder（AED）アーキテクチャを利用しています。

📚 ドキュメント

🔥 ニュース

• [2025/02/17] FireRedASR-LLM-Lモデルの重みを公開しました。
• [2025/01/24] 技術レポート、ブログ、およびFireRedASR-AED-Lモデルの重みを公開しました。

評価

結果は、中国語の場合は文字誤り率（CER%）、英語の場合は単語誤り率（WER%）で報告されています。

公開中国語ASRベンチマークでの評価

wsはWenetSpeechを意味します。

公開中国語方言および英語ASRベンチマークでの評価

使用上のヒント

バッチビームサーチ

• FireRedASR-LLMでバッチビームサーチを行う場合は、発話の入力長が似ていることを確認してください。発話長に大きな差がある場合、短い発話に繰り返し問題が発生する可能性があります。データセットを長さでソートするか、batch_sizeを1に設定して繰り返し問題を回避することができます。

入力長の制限

• FireRedASR-AEDは最大60秒の音声入力をサポートしています。60秒を超える入力は幻聴問題を引き起こす可能性があり、200秒を超える入力は位置符号化エラーを引き起こします。
• FireRedASR-LLMは最大30秒の音声入力をサポートしています。より長い入力に対する動作は現在不明です。

🔧 技術詳細

本モデルに関する詳細な技術情報は、技術レポートをご参照ください。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

謝辞

以下のオープンソースの成果に感謝します。

• Qwen2-7B-Instruct
• icefall/ASR_LLM
• WeNet
• Speech-Transformer

引用

@article{xu2025fireredasr,
  title={FireRedASR: Open-Source Industrial-Grade Mandarin Speech Recognition Models from Encoder-Decoder to LLM Integration},
  author={Xu, Kai-Tuo and Xie, Feng-Long and Tang, Xu and Hu, Yao},
  journal={arXiv preprint arXiv:2501.14350},
  year={2025}
}