R1 Aqa

🚀 R1 - AQA --- 強化学習が教師あり微調整を上回る：音声質問応答のケーススタディ

R1 - AQAは、Qwen2 - Audio - 7B - Instructをベースとした音声質問応答（AQA）モデルです。グループ相対ポリシー最適化（GRPO）アルゴリズムを用いた強化学習によって最適化されています。この実装では、わずか38kの事後トレーニングサンプルで、MMAUベンチマークにおいて最先端の性能を達成しています。詳細については、Githubと技術レポートを参照してください。

🚀 クイックスタート

R1 - AQAは、音声質問応答タスクにおいて、強化学習によって最適化されたモデルです。このモデルは、Qwen2 - Audio - 7B - Instructをベースに、GRPOアルゴリズムを用いて学習されています。

✨ 主な機能

• GRPOアルゴリズムを音声モダリティに直接適用でき、8.2BパラメータのQwen2 - Audio - 7B - Instructにも有効です。
• わずか38kの事後トレーニングサンプルで、強化学習が教師あり微調整を上回り、大規模なデータセットがなくてもRLベースのアプローチが有効であることを示しています。
• 明示的な推論プロセスはAQAタスクに大きな恩恵をもたらさず、「深い思考」や段階的な推論を効率的に活用する方法は今後の研究課題です。
• 大規模音声言語モデル（LALMs）は依然として人間の聴覚 - 言語推論能力に大きく劣っており、RLベースのアプローチのさらなる探索が必要です。

📚 ドキュメント

導入

R1 - AQAは、Qwen2 - Audio - 7B - Instructをベースとした音声質問応答（AQA）モデルで、グループ相対ポリシー最適化（GRPO）アルゴリズムを用いた強化学習によって最適化されています。この実装では、わずか38kの事後トレーニングサンプルで、MMAUベンチマークにおいて最先端の性能を達成しています。

主な発見は以下の通りです：

• GRPOアルゴリズムは、音声モダリティに直接かつ効果的に適用でき、8.2BパラメータのQwen2 - Audio - 7B - Instructにも有効です。
• わずか38kの事後トレーニングサンプルで、強化学習が教師あり微調整を上回り、大規模なデータセットがなくてもRLベースのアプローチが有効であることを示しています。
• 明示的な推論プロセスはAQAタスクに大きな恩恵をもたらさず、「深い思考」や段階的な推論を効率的に活用する方法は今後の研究課題です。
• 大規模音声言語モデル（LALMs）は依然として人間の聴覚 - 言語推論能力に大きく劣っており、RLベースのアプローチのさらなる探索が必要です。

追加の注意事項：

• AVQAトレーニングセットはもともと約40kのサンプルで構成されていましたが、一部のデータソースが無効になったため、約38kのサンプルのみを使用しています。YouTubeソースを使用する他のデータセット（AudioSetなど）も同様の問題に直面しています。欠落した2kのサンプルはトレーニング結果に大きな影響を与えないと考えています。
• 8.2Bパラメータに関する記述は、Qwen2 - Audio Technical Reportに基づいています。

表：MMAUベンチマークにおける精度（％）

注釈

* データはMMAUリーダーボードから取得しています。
[1] Xie, Zhifei, et al. "Audio - Reasoner: Improving Reasoning Capability in Large Audio Language Models." arXiv preprint arXiv:2503.02318 (2025).
[2] Ma, Ziyang, et al. "Audio - CoT: Exploring Chain - of - Thought Reasoning in Large Audio Language Model." arXiv preprint arXiv:2501.07246 (2025).
1️⃣ これは元のモデルで、Hugging Face上のものと同じで、技術レポートに記載されています。
2️⃣ これはMMAUリーダーボードに提出されたモデルで、バランスの取れた結果を得るために複数回トレーニングされています。

💻 使用例

基本的な使用法

import torch
import torchaudio
from transformers import Qwen2AudioForConditionalGeneration, AutoProcessor

# モデルの読み込み
model_name = "mispeech/r1-aqa"
processor = AutoProcessor.from_pretrained(model_name)
model = Qwen2AudioForConditionalGeneration.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")

# サンプル音声の読み込み
wav_path = "test-mini-audios/3fe64f3d-282c-4bc8-a753-68f8f6c35652.wav"  # MMAUデータセットから
waveform, sampling_rate = torchaudio.load(wav_path)
if sampling_rate != 16000:
    waveform = torchaudio.transforms.Resample(orig_freq=sampling_rate, new_freq=16000)(waveform)
audios = [waveform[0].numpy()]

# プロンプトテキストの作成
question = "Based on the given audio, identify the source of the speaking voice."
options = ["Man", "Woman", "Child", "Robot"]
prompt = f"{question} Please choose the answer from the following options: {str(options)}. Output the final answer in <answer> </answer>."
message = [
    {"role": "user", "content": [
        {"type": "audio", "audio_url": wav_path},
        {"type": "text", "text": prompt}
    ]}
]
texts = processor.apply_chat_template(message, add_generation_prompt=True, tokenize=False)

# 処理
inputs = processor(text=texts, audios=audios, sampling_rate=16000, return_tensors="pt", padding=True).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = generated_ids[:, inputs.input_ids.size(1):]
response = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)

print(response)

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。

引用

@article{li2025reinforcement,
  title={Reinforcement Learning Outperforms Supervised Fine-Tuning: A Case Study on Audio Question Answering},
  author={Li, Gang and Liu, Jizhong and Dinkel, Heinrich and Niu, Yadong and Zhang, Junbo and Luan, Jian},
  journal={arXiv preprint arXiv:2503.11197},
  year={2025},
  url={https://github.com/xiaomi-research/r1-aqa; https://huggingface.co/mispeech/r1-aqa}
}