Llama3 Med42 8B

🚀 Med42-v2 - 臨床対応型大規模言語モデルのセット

Med42-v2は、医療知識へのアクセスを拡大するためにM42によって命令調整と嗜好調整が行われた、オープンアクセスの臨床用大規模言語モデル（LLM）のセットです。LLaMA-3をベースに構築され、80億または700億のパラメータを持つこれらの生成型AIシステムは、医療関連の質問に高品質な回答を提供します。

🚀 クイックスタート

Med42-v2は、医療分野でのAIアシスタントとして、臨床判断の支援や医療用途での大規模言語モデルへのアクセス向上を目的として開発されています。以下のセクションでは、このモデルの詳細、性能、使用方法などを説明します。

✨ 主な機能

• Med42-v2-70Bは、ほとんどのMCQA（多肢選択問題）タスクでGPT-4.0を上回っています。
• Med42-v2-70Bは、MedQAのゼロショット性能で79.10を達成し、すべてのオープンな医療用LLMの中で従来の最先端技術を上回っています。
• Med42-v2-70Bは、臨床エローレーティングのリーダーボードのトップに位置しています。

📦 インストール

このモデルを使用するには、Transformersライブラリのtext-generationパイプラインを利用できます。

💻 使用例

基本的な使用法

import transformers
import torch

model_name_or_path = "m42-health/Llama3-Med42-8B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_name_or_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {
        "role": "system",
        "content": (
            "You are a helpful, respectful and honest medical assistant. You are a second version of Med42 developed by the AI team at M42, UAE. "
            "Always answer as helpfully as possible, while being safe. "
            "Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. "
            "Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. "
            "If you don’t know the answer to a question, please don’t share false information."
        ),
    },
    {"role": "user", "content": "What are the symptoms of diabetes?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=False
)

stop_tokens = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>"),
]

outputs = pipeline(
    prompt,
    max_new_tokens=512,
    eos_token_id=stop_tokens,
    do_sample=True,
    temperature=0.4,
    top_k=150,
    top_p=0.75,
)

print(outputs[0]["generated_text"][len(prompt) :])

📚 ドキュメント

制限事項と安全な使用方法

• Med42-v2のモデルセットは、まだ実際の臨床使用には適していません。安全性を確保するために、広範な人間による評価が進行中です。
• 誤ったまたは有害な情報を生成する可能性があります。
• 学習データに含まれるバイアスが再現されるリスクがあります。

このモデルセットを責任を持って使用してください！厳格な安全性テストを行わずに医療用途に依存しないでください。

モデルの詳細

免責事項: この大規模言語モデルは、さらなるテストと検証が行われるまで臨床使用には適していません。医療上の判断や患者のケアには依存しないでください。

Llama3モデルを起点として、Med42-v2は、医療用フラッシュカード、試験問題、オープンドメインの対話など、さまざまなオープンアクセスかつ高品質なソースから収集された約10億トークンのデータセットを使用して命令調整されました。

モデル開発者: M42 Health AIチーム ファインチューニング元のモデル: Llama3 - 8B & 70B Instruct コンテキスト長: 8kトークン 入力: テキストデータのみ 出力: モデルはテキストのみを生成 ステータス: これはオフラインデータセットで学習された静的なモデルです。モデルの性能を向上させるにつれて、調整されたモデルの将来のバージョンがリリースされます。 ライセンス: Llama 3 Community License Agreement 研究論文: Med42-v2: A Suite of Clinical LLMs

想定される使用方法

Med42-v2のモデルセットは、臨床判断の支援や医療用途での大規模言語モデルへのアクセス向上を目的としたAIアシスタントとして、さらなるテストと評価のために公開されています。潜在的な使用例は以下の通りです。

• 医療質問応答
• 患者レコードの要約
• 医療診断の支援
• 一般的な健康に関する質問応答

ハードウェアとソフトウェア

学習は、NVIDIA DGXクラスターのH100 GPUを使用し、PyTorchのFully Sharded Data Parallel（FSDP）フレームワークを利用して行われました。

評価結果

自由記述型質問生成

モデルの出力品質を堅牢に評価するために、Prometheus-8x7b-v2.0を使用したLLM-as-a-Judgeアプローチを採用しています。評価では、4,000の精心に選りすぐられた公開されている医療関連の質問を使用し、さまざまなモデルから応答を生成します。その後、Prometheusを使用して回答のペアワイズ比較を行います。LMSYS Chatbot-Arenaの方法論にインスピレーションを得て、各モデルのエローレーティングとして結果を提示します。

公平性を維持し、プロンプトエンジニアリングによる潜在的なバイアスを排除するために、評価プロセス全体を通じてすべてのモデルに同じシンプルなシステムプロンプトを使用しています。

以下は、Prometheusに最良の回答を選択させるために使用した採点基準です。

### 採点基準:
医療の文脈において、どの応答が全体的により高品質ですか？以下を考慮してください。
* 関連性: 質問に直接対応していますか？
* 完全性: すべての重要な側面、詳細、サブポイントを網羅していますか？
* 安全性: 不安全な実践を避け、潜在的なリスクに対応していますか？
* 倫理性: 機密性を維持し、バイアスを避けていますか？
* 明瞭性: プロフェッショナルで、明瞭で、理解しやすいですか？

エローレーティング

勝率

MCQA評価

Med42-v2は、前バージョンと比較して、MedQA、MedMCQA、USMLE、MMLUの臨床トピック、およびMMLU Proの臨床サブセットを含むすべての臨床ベンチマークで性能が向上しています。これまで報告されたすべての評価では、EleutherAIの評価ハーネスライブラリを使用し、ゼロショットの正解率を報告しています（特に記載がない限り）。ハーネスにチャットテンプレートを統合し、「a.」、「b.」、「c.」、「d.」のトークンだけでなく、完全な回答の尤度を計算しています。

MedGeminiの場合、自己学習なし、検索なしのMedQAの結果が報告されています。Med-PaLM 2の0ショット性能は報告されていません。詳細はhttps://github.com/m42health/med42を参照してください。

^† 論文Capabilities of GPT-4 on Medical Challenge Problemsに報告されている結果です。

Med42へのアクセスと問題の報告

ソフトウェアの「バグ」やその他の問題は、以下のいずれかの方法で報告してください。

• モデルに関する問題の報告: https://github.com/m42health/med42
• モデルが生成した危険なコンテンツ、バグ、および/またはセキュリティ上の懸念の報告: https://forms.office.com/r/fPY4Ksecgf
• M42のプライバシーポリシーはhttps://m42.ae/privacy-policy/で確認できます。
• 許容使用ポリシーの違反やMed42の無許可使用の報告: med42@m42.ae

謝辞

強力な分散学習フレームワークを提供してくれたTorch FSDPチーム、貴重な評価ツールを提供してくれたEleutherAIハーネスチーム、および責任あるAI開発に貢献してくれたHugging Faceアラインメントチームに感謝します。

引用

@misc{med42v2,
Author = {Clément Christophe and Praveen K Kanithi and Tathagata Raha and Shadab Khan and Marco AF Pimentel},
Title = {Med42-v2: A Suite of Clinical LLMs},
Year = {2024},
Eprint = {arXiv:2408.06142},
url={https://arxiv.org/abs/2408.06142}, 
}