Meditron 7b

🚀 Meditron-7B-v1.0

Meditronは、オープンソースの医療用大規模言語モデル（LLM）のセットです。Meditron-7Bは、Llama-2-7Bをベースに、医療分野に特化したコーパスで継続事前学習を行い、70億パラメータのモデルを構築しています。関連するトレーニングデータで微調整することで、複数の医療推論タスクにおいてLlama-2-7BやPMC-Llamaを上回る性能を発揮します。

🚀 クイックスタート

Meditron-7Bは、臨床意思決定の強化や医療用途でのLLMへのアクセス向上を目的としたAIアシスタントとして、さらなるテストと評価のために公開されています。

✨ 主な機能

• 医療試験問題への回答
• 鑑別診断のサポート
• 疾病情報（症状、原因、治療法）の照会
• 一般的な健康情報の照会

📚 ドキュメント

モデルの詳細

モデルのソース

• リポジトリ: epflLLM/meditron
• トレーナー: epflLLM/Megatron-LLM
• 論文: MediTron-70B: Scaling Medical Pretraining for Large Language Models

利用方法

直接利用

このモデルを使用してテキストを生成することは可能ですが、実験やその機能の理解にのみ役立ち、人に影響を与える可能性のある本番環境や業務での直接使用は避けてください。

下流利用

Meditron-70BとMeditron-7Bは、微調整や命令微調整を行っていない基礎モデルです。特定の下流タスクやアプリケーションに合わせて微調整、命令微調整、またはRLHF微調整を行うことができます。

下流の質問応答タスクでこのモデルを使用する方法は2つあります。

1. プロンプトにk個のデモンストレーション（論文では3または5）を追加してコンテキスト内学習を適用します。
2. 特定のトレーニングセットを使用して、下流の質問応答タスクに対してモデルを微調整します。

ベースモデルをより多様なアプリケーションに適用することを奨励します。

モデルに対してより対話的な方法でプロンプトを与えたい場合は、チャットとテキスト生成をサポートするUIを備えた高スループットでメモリ効率の良い推論エンジンの使用をお勧めします。

FastChatとvLLMを使用したデプロイメントガイドを参照できます。定性的分析のための生成結果は、対話型UIプラットフォームのBetterChatGPTを通じて収集しました。以下は使用したプロンプト形式の例です。

範囲外の利用

このモデルを、微調整の有無に関わらず、本番環境での自然言語生成に使用することはお勧めしません。

真実性、有用性、リスク、およびバイアス

Meditronモデルの真実性について、ベースラインモデルや消費者レベルの医療モデルと比較して初期評価を行いました。主な評価ベンチマークとしてTruthfulQA（多肢選択）を使用し、医療分野に関連するカテゴリ（健康、栄養、心理学、科学）のみに焦点を当てました。7Bモデルについては、一貫した回答生成のためにワンショット評価を行い、70Bモデルについてはゼロショット設定で評価を行いました。

より詳細な性能分析については、論文を参照してください。

この言語モデルの潜在的なバイアス、公平性、および安全性の問題を完全に調査するには、さらなる研究が必要です。Meditron-7Bの有用性、リスク、およびバイアスに関する評価は非常に限られていることを認識してください。したがって、安全通知で述べたように、さらなるアライメントプロセスと厳格な評価を行わずに医療アプリケーションへの展開は強く避けてください。

推奨事項

重要！ ユーザー（直接利用者と下流利用者の両方）は、このモデルのリスク、バイアス、および制限事項を認識する必要があります。このモデルは自然言語テキストを生成する能力を持っていますが、この能力とその制限についてはまだ調査の途中です。特に医療のような分野では、これらの制限事項を理解することが非常に重要です。したがって、自然言語生成のための本番環境や、健康および医療に関連する専門目的でのこのモデルの使用は強く避けてください。

トレーニングの詳細

トレーニングデータ

Meditronのドメイン適応事前学習コーパスGAP-Replayは、4つのコーパスからの481億トークンを組み合わせています。

• 臨床ガイドライン: 病院や国際機関などの様々な医療関連ソースから収集された46,000の国際的に認められた臨床実践ガイドラインの新しいデータセット。
• 医療論文の要約: 閉アクセスのPubMedおよびPubMed Centralの論文から抽出された1610万件の要約。
• 医療論文: 500万件の公開されているPubMedおよびPubMed Centralの論文から抽出された全文記事。
• リプレイデータ: RedPajama-v1からサンプリングされた4億トークンの一般ドメインの事前学習データ。

データの前処理の詳細な手順については、論文を参照してください。

トレーニング手順

トレーニング効率を最適化するために、NvidiaのMegatron LMプロジェクトを派生させたMegatron-LLM分散トレーニングライブラリを使用しました。ハードウェアは、NVLinkとNVSwitchで接続された8台のNVIDIA A100（80GB）SXM GPUを搭載した1ノードで、単一のNvidia ConnectX-6 DXネットワークカードを備え、2つのAMD EPYC 7543 32コアプロセッサと512GBのRAMが搭載されています。

3つの並列化スキームを使用しています。

• データ並列化（DP - 異なるGPUがバッチの異なるサブセットを処理）: 2
• パイプライン並列化（PP - 異なるGPUが異なるレイヤーを処理）: 4
• テンソル並列化（TP - 異なるGPUが行列乗算の異なるサブテンソルを処理）: 1

トレーニングハイパーパラメータ

サイズ

モデルは2023年9月にトレーニングされました。モデルアーキテクチャはLlama 2とまったく同じです。

評価

テストデータとメトリクス

テストデータ

• MedQA (USMLE)
• MedMCQA
• PubMedQA
• MMLU-Medical
• MedQA-4-Option

メトリクス

• 正解率: 多肢選択質問応答タスクの評価に適しています。

結果

meditron-7b、llama-2-7b、pmc-llama-7bを各ベンチマーク（pubmedqa、medmcqa、medqa）のトレーニングデータで個別に微調整しました。微調整されたモデルの性能を、最上位トークン選択を推論モードとして報告します。MMLU-Medicalについては、MedMCQAで微調整されたモデルを推論に使用し、MedQA-4-Optionについては、MedQAで微調整されたモデルを推論に使用します。より詳細な性能分析については、論文を参照してください。

注: *が付いたモデルはすでに命令微調整されているため、トレーニングデータでのさらなる微調整は除外しています。

環境への影響

• ハードウェアタイプ: 8 x NVIDIA A100 (80GB) SXM
• 総GPU時間: 588.8時間
• ハードウェアプロバイダー: EPFL Research Computing Platform
• コンピューティングリージョン: スイス
• 排出された二酸化炭素量: スイスの炭素効率は0.016 kgCO2/kWhです（https://www.carbonfootprint.com/docs/2018_8_electricity_factors_august_2018_-_online_sources.pdf）。8台のA100を73.6時間使用すると、TDP 400Wで588.8時間に相当します。電力使用効率を1.5と仮定すると、総排出量は約6.8 kgCO2と推定されます。

引用

BibTeX形式:

@misc{chen2023meditron70b,
      title={MEDITRON-70B: Scaling Medical Pretraining for Large Language Models}, 
      author={Zeming Chen and Alejandro Hernández-Cano and Angelika Romanou and Antoine Bonnet and Kyle Matoba and Francesco Salvi and Matteo Pagliardini and Simin Fan and Andreas Köpf and Amirkeivan Mohtashami and Alexandre Sallinen and Alireza Sakhaeirad and Vinitra Swamy and Igor Krawczuk and Deniz Bayazit and Axel Marmet and Syrielle Montariol and Mary-Anne Hartley and Martin Jaggi and Antoine Bosselut},
      year={2023},
      eprint={2311.16079},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@software{epfmedtrn,
  author = {Zeming Chen and Alejandro Hernández-Cano and Angelika Romanou and Antoine Bonnet and Kyle Matoba and Francesco Salvi and Matteo Pagliardini and Simin Fan and Andreas Köpf and Amirkeivan Mohtashami and Alexandre Sallinen and Alireza Sakhaeirad and Vinitra Swamy and Igor Krawczuk and Deniz Bayazit and Axel Marmet and Syrielle Montariol and Mary-Anne Hartley and Martin Jaggi and Antoine Bosselut},
  title = {MediTron-70B: Scaling Medical Pretraining for Large Language Models},
  month = November,
  year = 2023,
  url = {https://github.com/epfLLM/meditron}
}

⚠️ 重要提示

Meditronは高品質なエビデンス源からの医療知識をエンコードするように設計されていますが、この知識を適切に、安全に、または専門的な実行可能な制約内で提供するようにはまだ適応されていません。広範なユースケースアライメント、および追加のテスト、特に実世界の実践環境での無作為化比較試験を行わずに、Meditronを医療アプリケーションに展開することはお勧めしません。