Fireredasr AED L

🚀 FireRedASR: オープンソースの産業用自動音声認識モデル

FireRedASRは、中国語（標準語と方言）および英語をサポートするオープンソースの産業用自動音声認識（ASR）モデル群です。公開されている中国語ASRベンチマークで新たな最先端（SOTA）性能を達成し、優れた歌詞認識能力も備えています。

[コード] [論文] [モデル] [ブログ]

🚀 クイックスタート

モデルファイルをhuggingfaceからダウンロードし、pretrained_modelsフォルダに配置します。

FireRedASR-LLM-Lを使用する場合は、Qwen2-7B-Instructもダウンロードし、pretrained_modelsフォルダに配置します。その後、FireRedASR-LLM-Lフォルダに移動して、$ ln -s ../Qwen2-7B-Instructを実行します。

セットアップ

Python環境を作成し、依存関係をインストールします。

$ git clone https://github.com/FireRedTeam/FireRedASR.git
$ conda create --name fireredasr python=3.10
$ pip install -r requirements.txt

LinuxのPATHとPYTHONPATHを設定します。

$ export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
$ export PYTHONPATH=$PWD/:$PYTHONPATH

オーディオを16kHz 16ビットPCM形式に変換します。

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

クイックスタート

$ cd examples/
$ bash inference_fireredasr_aed.sh
$ bash inference_fireredasr_llm.sh

コマンドラインでの使用

$ speech2text.py --help
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

Pythonでの使用

from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = ["BAC009S0764W0121"]
batch_wav_path = ["examples/wav/BAC009S0764W0121.wav"]

# FireRedASR-AED
model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.0,
        "aed_length_penalty": 0.0,
        "eos_penalty": 1.0
    }
)
print(results)


# FireRedASR-LLM
model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 1.0,
        "llm_length_penalty": 0.0,
        "temperature": 1.0
    }
)
print(results)

✨ 主な機能

FireRedASRは、様々なアプリケーションにおける高い性能と最適な効率の多様な要件を満たすように設計されています。2つのバリエーションから構成されています。

• FireRedASR-LLM: 最先端（SOTA）の性能を達成し、シームレスなエンドツーエンドの音声インタラクションを可能にするように設計されています。大規模言語モデル（LLM）の機能を活用したEncoder-Adapter-LLMフレームワークを採用しています。
• FireRedASR-AED: 高い性能と計算効率のバランスをとり、LLMベースの音声モデルにおける効果的な音声表現モジュールとして機能するように設計されています。AttentionベースのEncoder-Decoder（AED）アーキテクチャを利用しています。

📚 ドキュメント

🔥 ニュース

• [2025/02/17] FireRedASR-LLM-Lモデルの重みを公開しました。
• [2025/01/24] 技術レポート、ブログ、およびFireRedASR-AED-Lモデルの重みを公開しました。

評価

結果は、中国語の場合は文字誤り率（CER%）、英語の場合は単語誤り率（WER%）で報告されています。

公開中国語ASRベンチマークでの評価

wsはWenetSpeechを意味します。

公開中国語方言および英語ASRベンチマークでの評価

使用上のヒント

バッチビームサーチ

• FireRedASR-LLMでバッチビームサーチを行う場合は、発話の入力長が似ていることを確認してください。発話長に大きな差がある場合、短い発話に繰り返し問題が発生する可能性があります。データセットを長さでソートするか、batch_sizeを1に設定して繰り返し問題を回避できます。

入力長の制限

• FireRedASR-AEDは最大60秒のオーディオ入力をサポートしています。60秒を超える入力は幻聴問題を引き起こす可能性があり、200秒を超える入力は位置符号化エラーを引き起こします。
• FireRedASR-LLMは最大30秒のオーディオ入力をサポートしています。それ以上の入力に対する動作は現在不明です。

🔧 技術詳細

FireRedASRは、産業用の自動音声認識に特化したモデルで、中国語（標準語と方言）および英語の音声認識に高い性能を発揮します。2つのバリエーション（FireRedASR-LLMとFireRedASR-AED）はそれぞれ異なるアーキテクチャを持ち、異なる要件に対応しています。

📄 ライセンス

本プロジェクトは、Apache-2.0ライセンスの下で公開されています。

謝辞

以下のオープンソース作品に感謝します。

• Qwen2-7B-Instruct
• icefall/ASR_LLM
• WeNet
• Speech-Transformer