Meditron3 8B

🚀 Llama-3.1 Meditron-3[8B] モデルカード

Meditronは、臨床医学に特化した大規模言語モデルのセットです。このモデルは、幅広い専門医や人道支援の実践者と共同で設計されています。訓練においては、公平な表現、文脈の多様性、実践的な実世界のエビデンスベースのガイドラインを重視しています。特に、資源が限られた地域や人道支援の現場、無視されている集団や疾患を表現するために努力しています。今回のリリースは、Llama-3.1[8B]ベースモデルで訓練されており、Llama-3.1 Meditron-3[8B]という名称が付けられています。

🚀 クイックスタート

Meditron-3は、臨床医の意思決定やエビデンスベースの医療情報へのアクセスを強化するための大規模言語モデルの可能性を研究・評価するための研究専用モデルです。

✨ 主な機能

• 臨床医学に特化した大規模言語モデル。
• 多様な専門医や人道支援の実践者と共同で設計。
• 訓練において公平な表現、文脈の多様性、実践的な実世界のエビデンスベースのガイドラインを重視。
• 資源が限られた地域や人道支援の現場、無視されている集団や疾患を表現。

📚 ドキュメント

モデルの詳細

用途

直接利用

Meditron-3は研究専用のモデルです。医療用途としては検証されていません（下記の免責事項を参照）。

下流タスクでの利用

Meditron-3は、ファインチューニングや命令調整が行われていない基礎モデルのセットです。ただし、これらのモデルは、人間のフィードバックによる強化学習（RLHF）や直接的な嗜好最適化（DPO）などの手法を用いて、特定の下流タスクやアプリケーションに適応させることができます。モデルの評価では、下流の質問応答タスクに2つの異なる方法を使用しています。

1. プロンプトにk個のデモンストレーションを追加したコンテキスト内学習。
2. 特定の訓練データセットを使用した質問応答タスクのモデルファインチューニング。

訓練データ

この新しいデータミックスは、専門家が選りすぐった公開データから構成されており、さまざまなソースを組み合わせています。

• 臨床ガイドライン：世界中のさまざまな医療関連のソース（病院や国際機関など）からの国際的に認められた臨床実践ガイドラインのデータセット。
• 査読付き医療出版物：全文の医療記事。
• 合成鑑別診断：鑑別診断のための合成会話データ。
• リプレイデータ：最先端の事前学習と命令調整からサンプリングされた一般ドメインの事前学習データ。
• LLM強化医療選択問題：LLMで強化された医療の選択問題。

データセットに関する追加情報は、Meditron-3の出版物に含まれます。

評価

Llama[3.1]-Meditron-3[8B]の評価結果は近日公開予定です！

再現性のために、lm-harnessを使用して、医療の選択問題に対するMeditronの評価を行っています。選択問題は試験的な性能を評価するのには有効ですが、特に代表されていない環境での文脈適応性という点で、モデルの実世界での有用性を捉えることはできません。医学は選択問題ではなく、精度を超えて、共感力、地域のガイドラインへの適合性、構造、完全性、安全性などのより細かい問題を評価する必要があります。この問題に対処するために、専門家から直接フィードバックを収集し、臨床実践の変化する文脈に継続的に適応するためのプラットフォームを開発しています。

論文

Meditron-3の出版物は現在作成中で、後日公開されます。

免責事項

このソフトウェアおよびモデルは「現状のまま」提供され、明示または黙示を問わず、商品性、特定の目的への適合性、非侵害性を含むいかなる保証もありません。いかなる場合も、著者、貢献者、または著作権者は、契約、不法行為、その他の訴訟において、ソフトウェアまたはソフトウェアの使用またはその他の取引に起因する、または関連するいかなる請求、損害、またはその他の責任に対して責任を負いません。

これらのモデルは、計算言語学および医学の分野での使用を目的とした研究ツールです。適切な検証と規制上の承認なしに、診断ツールとしてまたは臨床医の意思決定に使用することを意図していません。モデルに付随するコンテンツおよびデータは、医療専門家の専門知識を置き換えるものではありません。医療専門家は、LLaMAモデルの出力を評価する際に、専門的な判断を行使する必要があります。患者は、適格な医療提供者に相談することなく、モデルの出力を自己診断または治療に使用してはなりません。

この情報は、臨床医の意思決定を目的としておらず、患者の診断または治療に使用することを意図しておらず、いかなる臨床目的にも有用または適切であるとは限りません。

いかなる場合も、ユーザーは、事前にイェール大学から書面による同意を得ない限り、「YALE」または「EPFL」または「YALE UNIVERSITY」、またはそれに関連するいかなる機関の名称、またはその変形や適応形、またはイェール大学が所有するいかなる商標、商号、またはその他の指定、またはその理事、役員、教員、学生、従業員、または代理人のいかなる名称も、いかなる目的でも使用することはできません。この同意は、イェール大学が独自の裁量で付与または拒否するものとします。

Llama[3.1]-Meditron[8B]は、Llama 3.1 Community Licenseの下でライセンスされており、Copyright © Meta Platforms, Inc. All Rights Reserved. このモデルをダウンロードして使用することにより、こちらで入手可能なLLaMAライセンスの条項に同意することになります。

📄 ライセンス

Llama[3.1]-Meditron[8B]は、Llama 3.1 Community Licenseの下でライセンスされており、Copyright © Meta Platforms, Inc. All Rights Reserved. このモデルをダウンロードして使用することにより、こちらで入手可能なLLaMAライセンスの条項に同意することになります。