II Medical 7B Preview

🚀 II-Medical-7B-Preview

II-Medical-7B-Previewは、包括的な医療知識データセットを用いて訓練された医療推論モデルです。このモデルは、医療分野におけるAIの能力を向上させることを目的としています。

🚀 クイックスタート

II-Medical-7B-Previewモデルは、QwenやDeepseek-R1-Distillモデルと同じ方法で利用できます。

例えば、vLLMを使用して簡単にサービスを起動できます。

vllm serve Intelligent-Internet/II-Medical-7B-Preview

また、SGLangを使用しても簡単にサービスを起動できます。

python -m sglang.launch_server --model Intelligent-Internet/II-Medical-7B-Preview

✨ 主な機能

II-Medical-7B-Previewは、医療知識を用いた推論能力に特化したモデルです。包括的な医療データセットを用いて訓練されており、様々な医療QAベンチマークで高い性能を発揮します。

📦 インストール

本モデルのインストールについては、上記の「クイックスタート」セクションに記載の通り、vLLMやSGLangを使用してサービスを起動することで利用できます。

💻 使用例

基本的な使用法

# vLLMを使用したサービス起動例
vllm serve Intelligent-Internet/II-Medical-7B-Preview

# SGLangを使用したサービス起動例
python -m sglang.launch_server --model Intelligent-Internet/II-Medical-7B-Preview

📚 ドキュメント

I. モデル概要

II-Medical-7B-Previewは、包括的なデータセットの医療知識を用いて訓練された医療推論モデルです。このモデルは、医療分野におけるAIの能力を向上させることを目的としています。

II. 訓練方法

医療分野の包括的な推論データセットを収集・生成し、Qwen/Qwen2.5-7B-Instructモデルに対してSFT微調整を行いました。その後、難しい推論データセットでDAPOを訓練することで、SFTモデルをさらに最適化し、性能を向上させました。

SFT段階では、以下のハイパーパラメータを使用しました。

• 最大長: 16378
• バッチサイズ: 128
• 学習率: 5e-5
• エポック数: 4

RL段階では、以下の設定で訓練を行いました。

• 最大プロンプト長: 2048トークン
• 最大応答長: 12288トークン
• 長文バッファ: 有効、4096トークン、ペナルティ係数1.0
• クリップ比率: 下限0.2、上限0.28
• バッチサイズ: 訓練プロンプト512、生成プロンプト1536、ミニバッチ32
• プロンプトあたりの応答数: 16
• 温度: 1.0、Top-p: 1.0、Top-k: -1 (vLLMロールアウト)
• 学習率: 1e-6、ウォームアップステップ: 10、重み減衰: 0.1
• 損失集約: トークン平均
• 勾配クリッピング: 1.0
• エントロピー係数: 0

III. 評価結果

10の医療QAベンチマークで評価を行いました。これには、MedMCQA、MedQA、PubMedQA、MMLU-ProとGPQAの医療関連質問、LancetとNew England Journal of Medicineの小規模QAセット、MedBulletsプラットフォームの4選択と5選択の分割、およびMedXpertQAが含まれます。

IV. データセットの作成

訓練データセットは、以下のソースからの555,000サンプルで構成されています。

1. 公開医療推論データセット (103,031サンプル)

• 一般医療推論: 40,544サンプル
• Medical-R1-Distill-Data: 22,000サンプル
• Medical-R1-Distill-Data-Chinese: 17,000サンプル
• UCSC-VLAA/m23k-tokenized: 23,487サンプル

2. QwQを用いた合成医療QAデータ (225,700サンプル)

既存の医療データセットから生成されました。

• MedMcQA (openlifescienceai/medmcqaから): 183,000サンプル
• MedQA: 10,000サンプル
• MedReason: 32,700サンプル

3. 精選された医療R1トレース (338,055サンプル)

まず、以下のソースからすべての公開R1トレースを収集しました。

• PrimeIntellect/SYNTHETIC-1
• GeneralReasoning/GeneralThought-430K
• a-m-team/AM-DeepSeek-R1-Distilled-1.4M
• open-thoughts/OpenThoughts2-1M
• nvidia/Llama-Nemotron-Post-Training-Dataset: 科学サブセットのみ
• その他のリソース: cognitivecomputations/dolphin-r1、ServiceNow-AI/R1-Distill-SFT、...

すべてのR1推論トレースは、以下のドメイン固有のパイプラインを通じて処理されました。

1. 埋め込み生成: プロンプトは、sentence-transformers/all-MiniLM-L6-v2を使用して埋め込まれます。
2. クラスタリング: 50,000クラスタでK-meansクラスタリングを行います。
3. ドメイン分類:
   • 各クラスタについて、クラスタ中心に最も近い10個のプロンプトを選択します。
   • 選択された各プロンプトのドメインを、Qwen2.5-32b-Instructを使用して分類します。
   • 分類されたプロンプトの多数決に基づいて、クラスタのドメインを割り当てます。
4. ドメインフィルタリング: 最終データセットには、医療または生物学とラベル付けされたクラスタのみを残します。

4. 補足数学データセット

• light-r1からの15,000サンプルの推論トレースを追加しました。
• 目的: モデルの一般的な推論能力を向上させること

データの前処理

1. 完全生成のためのフィルタリング
   • 完全な生成出力を持つトレースのみを残しました。
2. 長さベースのフィルタリング
   • 最小閾値: 3単語以上のプロンプトのみを残しました。
   • 最大閾値: 7,143単語未満のトレースのみを残しました。
   • 待機トークンフィルタ: "Wait"が47回以上出現するトレースを削除しました (97パーセンタイル閾値)。

データの浄化

2段階の浄化を行いました。

1. open-r1プロジェクトに従って、評価データセットとの10-gramを使用してデータセットを浄化しました。
2. その後、s1kメソッドのファジー浄化を閾値90%で使用しました。

私たちのパイプラインは、評価データセットと慎重に浄化されています。

V. 使用ガイドライン

• 推奨サンプリングパラメータ: temperature = 0.6、top_p = 0.9
• 使用時には、明示的にステップバイステップの推論を要求し、最終的な答えを\boxed{}内に整形してください (例: "Please reason step-by-step, and put your final answer within \boxed{}.").

VI. 制限事項と考慮事項

• データセットには、ソース材料に固有のバイアスが含まれる可能性があります。
• 医療知識は定期的な更新が必要です。
• 医療用途には適していません。

VII. 引用

@misc{2025II-Medical-7B-Preview,
      title={II-Medical-7B-Preview: Medical Reasoning Model}, 
      author={Intelligent Internet},
      year={2025}
}