Medillama 3.2

🚀 MediLlama-3.2のモデルカード

MetaのLLaMA 3.2 (3B Instruct) を医療分野の特定のアプリケーション向けにファインチューニングしたバージョンです。このモデルは、医療に関する質問応答、症状チェック、患者教育などのタスクに最適化されています。

🚀 クイックスタート

import torch
from transformers import pipeline

model_id = "InferenceLab/MediLlama-3.2"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a helpful Medical assistant."},
    {"role": "user", "content": "Hi! How are you?"},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主な機能

直接利用

MediLlama-3.2は、医療および健康関連のアプリケーションにおいて、チャットボットまたは仮想アシスタントとして直接使用できます。教育コンテンツ、初期症状のトリアージ、および研究目的に最適です。

下流利用

さらにタスク固有のファインチューニングを行った後、より大規模なテレヘルスシステム、臨床文書ツール、または診断アシスタントに統合できます。

範囲外の利用

• 専門家の検証なしに、リアルタイムの診断または治療決定に使用してはなりません。
• 高リスクまたは生命を脅かす緊急対応には適していません。
• 小児科または高度に専門化された医療分野でのトレーニングは行われていません。

📚 ドキュメント

モデルの詳細

モデルの説明

このモデルは、LLaMA 3.2 3B Instructをドメイン適応させたバージョンです。医療データセットを使用して教師ありファインチューニング (SFT) を行い、診断クエリ、治療提案、および一般的な医療アドバイスを含む英語の医療シナリオを処理できるように調整されています。

• 開発者: InferenceLab
• モデルの種類: 医療チャットボット
• 言語 (NLP): 英語
• ライセンス: Apache 2.0
• ファインチューニング元のモデル: meta-llama/Llama-3.2-3B-Instruct

バイアス、リスク、および制限

このモデルは医療データでトレーニングされていますが、以下の問題がある可能性があります。

• ソースデータからのバイアス
• 幻覚または誤った提案
• 古いまたは地域固有でない医療アドバイス

推奨事項

ユーザーは、出力を認定医療専門家によって検証する必要があります。このモデルは研究およびプロトタイピングのみを目的としており、規制遵守なしに臨床展開することはできません。

トレーニングの詳細

トレーニングデータ

このモデルは、クリーニングおよび前処理された医療QAデータセット、合成医師-患者会話、および公開されている健康フォーラムを使用してトレーニングされています。保護された健康情報 (PHI) は削除されています。

トレーニング手順

TRLおよびUnslothライブラリを使用した教師ありファインチューニング (SFT) を行っています。

前処理

LLaMAトークナイザーを使用し、特別な医療命令形式でトークン化しています。

トレーニングハイパーパラメータ

• トレーニング方式: bf16混合精度
• 学習率: 1e-5

速度、サイズ、時間

• トレーニング時間: 4×A100 GPUで約12時間

評価

テストデータ、要因、および指標

テストデータ

未見の医療QAペアのサブセット、合成テストケース、およびMedQAから派生した例です。

要因

• 入力プロンプトの複雑さ
• 医療用語の使用
• チャットの長さ

指標

• 正解率: 81.3%
• BLEU: 34.5
• ROUGE-L: 62.2

結果

概要

このモデルは、未見のプロンプトに対して良好な汎化能力を示し、一般的な医療対話において競争力のある性能を発揮します。がん学や希少疾患などの専門分野では、さらなるチューニングが必要です。

モデルの検査

モデルの決定を解釈するために、LLaMA-MedLensなどの説明性ツール (利用可能な場合) の使用をおすすめします。

環境への影響

• ハードウェアタイプ: 4×NVIDIA A100 40GB
• 使用時間: 12時間
• クラウドプロバイダー: AWS
• コンピュートリージョン: us-west-2
• 排出された二酸化炭素量: 約35.8 kg CO2eq (推定)

技術仕様

モデルアーキテクチャと目的

• Meta LLaMA 3.2 3B Instructをベースにしています。
• デコーダーのみのトランスフォーマーです。
• 目的: 命令ファインチューニングを伴う因果言語モデリング (CLM)

コンピュートインフラストラクチャ

ハードウェア

• 4×NVIDIA A100 40GB

ソフトウェア

• Python 3.10
• Transformers (v4.40+)
• TRL
• Unsloth
• PyTorch 2.1

用語集

• SFT: 教師ありファインチューニング
• BLEU: 二言語評価補助尺度
• ROUGE: 要約評価のための再現率指向の補助尺度

詳細情報

共同開発、展開支援、またはファインチューニングの拡張については、開発者にお問い合わせください。

モデルカードの作成者

• InferenceLabチーム

📄 ライセンス

Apache 2.0