Qwen3 0.6B Medical Expert

🚀 Qwen3-0.6B-Medical-Expert

このプロジェクトでは、Qwen3-0.6B 言語モデルに対して完全なファインチューニングを行い、医学的推論 および 臨床理解 能力を強化しています。FreedomIntelligence/medical-o1-reasoning-SFT データセットを使用し、bfloat16 (bf16) 精度でトレーニングを行い、効率的な最適化を実現しています。

✨ 主な機能

• 医学的推論と臨床理解能力を強化したQwen3-0.6Bモデルを提供します。
• 医学的な指示を解釈し、段階的な臨床推論を生成する能力が向上しています。
• 事実の正確性と透明な推論を兼ね備えた応答を生成し、教育や医療AIの支援コンテキストで役立ちます。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

トレーニング手順

1. データセットの準備

   • FreedomIntelligence/medical-o1-reasoning-SFT データセットを使用しました。
   • 各サンプルは、医学的に関連する指示または質問と、詳細な段階的な臨床推論の応答がペアになっています。
   • プロンプトは、安全で事実に基づいた首尾一貫した医学的推論の連鎖を促すように構成されています。

2. モデルの読み込みと設定

   • Qwen3のベースモデルの重みを、unsloth ライブラリを介してbf16精度で読み込みました。
   • すべてのモデルレイヤーを完全に更新 (full_finetuning=True) して、モデルを医学的推論と意思決定タスクに効果的に適応させました。

3. 教師付きファインチューニング

   • Hugging FaceのTRLライブラリを使用し、教師付きファインチューニング (SFT) アプローチでファインチューニングを行いました。
   • モデルは、臨床指示に従い、症状を解釈し、合理的な診断または治療提案を生成するようにトレーニングされました。

目的と成果

• モデルが医学的指示を解釈し、段階的な臨床推論を生成する能力が大幅に向上しました。
• 事実の正確性と透明な推論を兼ね備えた応答を生成し、教育や医療AIの支援コンテキストで役立ちます。

📄 ライセンス

このプロジェクトは、Apache License 2.0の下でライセンスされています。詳細については、LICENSE ファイルを参照してください。

サポート