Meditron3 8B

🚀 模型卡片：Llama-3.1 Meditron-3[8B]

Meditron是一套專門用於臨床醫學的大語言模型。這些模型是與眾多臨床專家和人道主義從業者共同設計的。其訓練過程強調公平的代表性、上下文的多樣性以及基於實際證據的可行指導方針。我們特別注重呈現資源有限地區和人道主義環境、被忽視的人群和疾病。此版本基於Llama-3.1[8B]基礎模型進行訓練，命名為Llama-3.1 Meditron-3[8B]。

📚 詳細文檔

模型詳情

用途

直接使用

Meditron-3是僅用於研究的模型，未經過醫學用途驗證（見下方免責聲明）。

下游應用

Meditron-3是一套尚未進行微調或指令調優的基礎模型。不過，這些模型可以使用諸如基於人類反饋的強化學習（RLHF）或直接偏好優化（DPO）等技術，適配特定的下游任務或應用。在我們對模型的評估中，針對下游問答任務使用了兩種不同的方法：

1. 在提示中添加k個示例進行上下文學習。
2. 使用特定訓練數據集對模型進行問答任務的微調。

訓練數據

這種新的數據混合體包含了專家整理的公開可用數據，並結合了多個來源：

• 臨床指南：來自世界各地各種醫療相關機構（包括醫院和國際組織）的國際公認臨床實踐指南數據集。
• 同行評審的醫學出版物：醫學全文文章。
• 合成鑑別診斷：用於鑑別診斷的類似合成對話的數據。
• 回放數據：從多個最先進的預訓練和指令調優中採樣的通用領域預訓練數據。
• 大語言模型增強的醫學多項選擇題：由大語言模型增強的醫學多項選擇題。

關於數據集的更多信息將包含在Meditron-3的出版物中。

評估

Llama[3.1]-Meditron-3[8B]的評估結果即將公佈！

我們使用lm-harness對Meditron進行醫學多項選擇題評估，以確保可重複性。雖然多項選擇題對於評估類似考試的表現很有價值，但它們無法全面體現模型在現實世界中的實用性，特別是在資源匱乏環境中的上下文適應能力。醫學並非簡單的多項選擇題，我們需要超越準確性，評估更細粒度的問題，如同理心、與當地指南的一致性、結構、完整性和安全性。為了解決這個問題，我們開發了一個平臺，直接收集專家的反饋，以不斷適應臨床實踐不斷變化的環境。

論文

Meditron-3的出版物目前正在籌備中，將在稍後發佈。

法律免責聲明

本軟件和模型“按原樣”提供，不附帶任何形式的明示或暗示保證，包括但不限於適銷性、特定用途適用性和不侵權的保證。在任何情況下，作者、貢獻者或版權持有者均不對因合同、侵權或其他方式引起的任何索賠、損害或其他責任負責，無論這些責任是源於軟件、軟件的使用或其他交易。

這些模型是用於計算語言學和醫學領域的研究工具。未經適當驗證和監管批准，不得將其用作診斷工具或用於臨床決策。模型提供的內容和數據不能替代醫療專業人員的專業知識。醫療專業人員在評估LLaMA模型的輸出時應運用專業判斷。患者在未諮詢合格醫療服務提供者的情況下，不得將模型輸出用於自我診斷或治療。

本信息並非用於臨床決策，不應用於患者的診斷或治療，可能對任何臨床目的都無用或不適用。

在任何情況下，用戶未經耶魯大學事先書面同意，不得出於任何目的使用“耶魯”“EPFL”“耶魯大學”或其任何附屬機構的名稱，或其任何變體、改編形式，也不得使用耶魯大學擁有的任何商標、商號或其他標識，以及其任何受託人、官員、教職員工、學生、員工或代理人的姓名，耶魯大學有權自行決定是否給予同意。

Llama[3.1]-Meditron[8B]遵循Llama 3.1社區許可證，版權所有 © Meta Platforms, Inc. 保留所有權利。通過下載和使用此模型，您同意LLaMA許可證的條款。