Med42 70b

🚀 Med42 - 臨床用大規模言語モデル

Med42は、M42によって開発されたオープンアクセスの臨床用大規模言語モデル（LLM）です。医療知識へのアクセスを拡大することを目的としています。LLaMA - 2をベースに構築され、700億のパラメータを持つこの生成AIシステムは、医療関連の質問に高品質な回答を提供します。

🚀 クイックスタート

最新バージョンのお知らせ

🚨 更新: Med42のバージョン2がリリースされました！ 🚨

モデルはこちらで入手できます: [Med42 - v2 - 70B](https://huggingface.co/m42 - health/Llama3 - Med42 - 70B) と [Med42 - v2 - 8B](https://huggingface.co/m42 - health/Llama3 - Med42 - 8B)

アクセス申請

これは、Hugging Face上でMed42にアクセスするためのフォームです。このフォームを提出する前に、[Med42ライセンス](https://huggingface.co/spaces/m42 - health/License) を読み、ライセンス条項と許容使用ポリシーに同意してください。申請はM42チームにより、2営業日以内に処理されます。

申請フォームは [こちら](https://huggingface.co/spaces/m42 - health/Med42 - Access) からアクセスできます。

✨ 主な機能

• 医療関連の質問に高品質な回答を提供します。
• 患者レコードの要約、医療診断の支援、一般的な健康に関する質問応答など、様々な医療シーンでの利用が可能です。

📦 インストール

このモデルを使用するには、まずライセンスに同意し、アクセスを申請する必要があります。申請が承認された後、以下のようにモデルをロードできます。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name_or_path = "m42 - health/med42 - 70b"

model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

💻 使用例

基本的な使用法

# 糖尿病の症状は何ですか？という質問の例
prompt = "What are the symptoms of diabetes ?"
prompt_template=f'''
<|system|>: You are a helpful medical assistant created by M42 Health in the UAE.
<|prompter|>:{prompt}
<|assistant|>:
'''

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True,eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id, max_new_tokens=512)
print(tokenizer.decode(output[0]))

高度な使用法

特定のフォーマットに従うことで、モデルの期待される機能とパフォーマンスを得ることができます。<|system|>、<|prompter|>、<|assistant|> タグを使用します。

# 高度な使用法の例
prompt = "特定の症状についての詳細な質問"
prompt_template=f'''
<|system|>: You are a highly specialized medical assistant with in - depth knowledge of various medical fields.
<|prompter|>:{prompt}
<|assistant|>:
'''

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True,eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id, max_new_tokens=512)
print(tokenizer.decode(output[0]))

📚 ドキュメント

モデルの詳細

• モデル開発者: M42 Health AIチーム
• ファインチューニング元のモデル: Llama - 2 - 70B
• コンテキスト長: 4kトークン
• 入力: テキストデータのみ
• 出力: モデルはテキストを生成します
• ステータス: これはオフラインデータセットで学習された静的モデルです。モデルのパフォーマンスを向上させるため、将来的に調整されたバージョンがリリースされます。
• ライセンス: カスタムライセンスは [こちら](https://huggingface.co/spaces/m42 - health/License) で入手できます。
• 研究論文: Med42 - Evaluating Fine - Tuning Strategies for Medical LLMs: Full - Parameter vs. Parameter - Efficient Approaches

意図された使用法

Med42は、臨床的な意思決定を強化し、医療用途のLLMへのアクセスを拡大するためのAIアシスタントとして、さらなるテストと評価のために提供されています。潜在的な使用例は以下の通りです。

• 医療質問応答
• 患者レコードの要約
• 医療診断の支援
• 一般的な健康に関する質問応答

ハードウェアとソフトウェア

学習プロセスは、Condor Galaxy 1（CG - 1）スーパーコンピュータプラットフォーム上で実行されました。

評価結果

Med42は、MedQA、MedMCQA、PubMedQA、HeadQA、およびMeasuring Massive Multitask Language Understanding（MMLU）の臨床トピックを含む、様々な医療ベンチマークで競争力のあるパフォーマンスを達成しています。これまで報告されたすべての評価では、[EleutherAIの評価ハーネスライブラリ](https://github.com/EleutherAI/lm - evaluation - harness) を使用し、ゼロショット精度を報告しています（特に明記されていない限り）。他のモデル（ClinicalCamel - 70B、GPT - 3.5、GPT - 4.0、Med - PaLM 2）とのパフォーマンスを比較しています。

Med - PaLM 2の0ショットパフォーマンスは報告されていません。詳細は https://github.com/m42health/med42 を参照してください。

主要なパフォーマンス指標

• Med42は、米国医師免許試験（USMLE）のサンプル試験で72％の精度を達成し、公開されている医療用LLMの中で従来の最先端技術を上回っています。
• MedQAデータセットで61.5％（GPT - 3.5の50.8％と比較）
• MMLUの臨床トピックで、GPT - 3.5よりも一貫して高いパフォーマンスを発揮します。

🔧 技術詳細

Med42は、基本的なLLaMa - 2モデルから始まり、医療用のフラッシュカード、試験問題、オープンドメインの対話など、さまざまなオープンアクセスソースから収集された約250Mトークンのデータセットで命令調整されました。

📄 ライセンス

このモデルの使用は、M42 Healthライセンスによって管理されています。モデルの重み（およびトークナイザー）をダウンロードするには、[Med42ライセンス](https://huggingface.co/spaces/m42 - health/License) を読み、ここでアクセスを要求することでライセンスに同意してください。

制限事項と安全な使用

• Med42は、実際の臨床使用にはまだ適していません。安全性を確保するために、広範な人間による評価が進行中です。
• 誤ったまたは有害な情報を生成する可能性があります。
• 学習データに含まれるバイアスを拡大するリスクがあります。

このモデルを責任を持って使用してください！厳格な安全性テストを行わずに医療用途に依存しないでください。

アクセスと問題の報告

以下のいずれかの方法で、ソフトウェアの「バグ」またはその他の問題を報告してください。

• モデルの問題報告: https://github.com/m42health/med42
• モデルによって生成された危険なコンテンツ、バグ、および/またはセキュリティ上の懸念の報告: https://forms.office.com/r/YMJu3kcKat
• M42のプライバシーポリシーは [https://m42.ae/privacy - policy/](https://m42.ae/privacy - policy/) で入手できます。
• 許容使用ポリシーの違反またはMed42の無許可使用の報告: med42@m42.ae

引用

私たちの論文は、AAAI 2024 Spring Symposium - Clinical Foundation Modelsに掲載され、arXivで入手できます: https://arxiv.org/abs/2404.14779

@article{christophe2024med42,
      title={Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches}, 
      author={Clément Christophe and Praveen K Kanithi and Prateek Munjal and Tathagata Raha and Nasir Hayat and Ronnie Rajan and Ahmed Al-Mahrooqi and Avani Gupta and Muhammad Umar Salman and Gurpreet Gosal and Bhargav Kanakiya and Charles Chen and Natalia Vassilieva and Boulbaba Ben Amor and Marco AF Pimentel and Shadab Khan},
      year={2024},
      eprint={2404.14779},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}