Palmyra Med 70B

🚀 Palmyra-Med-70B，專為醫療保健領域打造的強大大語言模型

Palmyra-Med-70B是專門為滿足醫療保健行業需求而設計的大語言模型。它在生物醫學基準測試中表現出色，平均得分達85.87%，超越了GPT - 4、Claude Opus、Gemini和Med - PaLM - 2基礎模型，甚至超過了接受過醫學訓練的人類測試者。

🚀 快速開始

使用transformers庫運行對話推理

你可以使用Transformers的Auto類和generate()函數來運行對話推理。以下是一個示例代碼：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Writer/Palmyra-Med-70B"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and experienced expert in the healthcare and biomedical field, possessing extensive medical knowledge and practical expertise.",
    },
    {
        "role": "user",
        "content": "Does danzhi Xiaoyao San ameliorate depressive-like behavior by shifting toward serotonin via the downregulation of hippocampal indoleamine 2,3-dioxygenase?",
    },
]

input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
)

gen_conf = {
    "max_new_tokens": 256,
    "eos_token_id": [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")],
    "temperature": 0.0,
    "top_p": 0.9,
}

with torch.inference_mode():
    output_id = model.generate(input_ids, **gen_conf)

output_text = tokenizer.decode(output_id[0][input_ids.shape[1] :])

print(output_text)

✨ 主要特性

• 專為生物醫學應用定製：Palmyra-Med-70B經過精心設計，以滿足醫學和生命科學領域獨特的語言和知識需求。它在大量高質量的生物醫學數據上進行了微調，能夠準確、流暢地理解和生成特定領域的文本。
• 先進的訓練方法：系統集成了DPO數據集、精心設計的微調方案以及自定義的多樣化醫學指令數據集。訓練管道的關鍵組成部分包括使用直接偏好優化（DPO）來提升模型性能。
• 出色的性能表現：在9個不同的生物醫學數據集上，Palmyra-Med-70B超越瞭如GPT - 4、Gemini和Med - PaLM - 2等更大的模型，儘管參數較少，但平均得分達到85.9%，在臨床知識圖譜、醫學遺傳學和PubMedQA等任務中表現出色。
• 強大的醫療應用能力：能夠分析和總結複雜的臨床筆記、電子健康記錄（EHR）數據和出院小結，提取關鍵信息生成簡潔、結構化的摘要；可進行高級臨床實體識別，從非結構化文本中識別疾病、症狀、藥物、程序和解剖結構等關鍵醫學概念；有助於從EHR、研究文章和其他生物醫學來源中進行信息檢索、數據分析和知識發現。

📚 詳細文檔

模型描述

• 開發者：Writer
• 支持語言：英語
• 許可證：Writer開放模型許可證
• 微調基礎模型：Palmyra - X - 003
• 上下文窗口：8192

模型詳情

Palmyra-Med是Writer專門為滿足醫療保健行業需求而構建的模型。它是生物醫學基準測試中領先的大語言模型，平均得分85.87%。

資源和技術文檔

• Writer博客
• Writer開發者網站
• Writer AI工作室
• Palmyra模型API

🔧 技術細節

訓練數據和方法

• 策略優化：利用直接偏好優化（DPO）來提升模型性能。DPO
• 微調數據集：自定義醫學指令數據集（Writer內部構建）

📄 許可證

本模型使用Writer開放模型許可證。點擊“同意”即表示您同意許可協議，並認可Writer的隱私政策。

📊 評估結果

生物醫學基準測試性能

醫療用例

Palmyra-Med-70B在分析和總結複雜的臨床筆記、EHR數據和出院小結方面表現出色，能夠提取關鍵信息生成簡潔、結構化的摘要。它還能進行高級臨床實體識別，從非結構化文本中識別關鍵醫學概念，有助於信息檢索、數據分析和知識發現，支持臨床決策支持、藥物警戒和醫學研究等應用。

⚠️ 偏差、風險和侷限性

Palmyra-Med-70B儘管使用了高質量的數據，但可能存在不準確、偏差或不一致的情況，並且尚未在臨床試驗或現實世界的醫療環境中進行嚴格評估。不建議將該模型用於直接的患者護理、臨床決策支持或專業醫療目的，而應僅限於瞭解其侷限性的合格人員進行研究。Palmyra-Med-70B不能替代專業的醫學判斷，將其用於醫療用途需要進行大量額外的工作，包括徹底測試、符合指南、減輕偏差、人工監督和遵守法規等。如有個人醫療需求，請始終諮詢合格的醫療保健提供者。

📖 引用和相關信息

如需引用此模型，請使用以下格式：

@misc{Palmyra-Med-70B,
  author = {Writer Engineering team},
  title = {{Palmyra-Med-70b: A powerful LLM designed for healthcare}},
  howpublished = {\url{https://dev.writer.com}},
  year = 2024,
  month = June 
}

聯繫郵箱：Hello@writer.com