Palmyra Med 70B 32K

🚀 Palmyra-Med-70B-32k：專為醫療保健打造的強大大語言模型

Palmyra-Med-70B-32k是一款專為醫療保健和生物醫學領域設計的大語言模型，它在醫療數據上進行了微調，能夠理解和生成特定領域的準確文本，為醫療研究和非商業應用提供有力支持。

📦 模型信息

📚 模型詳情

Palmyra-Med-70B-32k由Writer開發，它基於Palmyra-Med-70b構建，提供了更長的上下文長度，滿足了醫療行業的需求。它是生物醫學基準測試中領先的大語言模型，平均得分85.87%，超過了GPT - 4、Claude Opus、Gemini和Med - PaLM - 2基礎模型，以及經過醫學訓練的人類測試者。

資源與技術文檔

• Writer博客
• Writer開發者網站
• Writer AI工作室
• Palmyra模型API

🔧 專業的生物醫學應用

Palmyra-Med-70B-32k經過精心設計，以滿足醫學和生命科學領域獨特的語言和知識需求。它在大量高質量的生物醫學數據上進行了微調，確保能夠準確、流暢地理解和生成特定領域的文本。

我們的系統集成了DPO數據集、精心設計的微調方案以及自定義的多樣化醫學指令數據集，使其能夠很好地處理該領域的特定需求。訓練流程的關鍵組件包括：

• 策略優化：利用直接偏好優化（DPO）來提升模型性能。DPO
• 微調數據集：自定義醫學指令數據集（Writer內部構建）

🚀 快速開始

預期用途

• 預期用例：Palmyra-Med-70B-32k用於英文的非商業和研究用途。經過指令微調的模型適用於類似助手的對話，而預訓練模型可用於各種自然語言生成任務。
• 超出範圍的使用：以任何違反適用法律法規（包括貿易合規法律）的方式使用；以Writer可接受使用政策和Writer開放模型許可證禁止的任何其他方式使用；使用英文以外的語言。

⚠️ 重要提示

開發者可以根據Writer開放模型許可證和可接受使用政策，對Palmyra-Med-70B-32k模型進行微調以支持英文以外的語言。所有由Writer.com構建的模型都包含水印，以檢測和防止濫用和非法使用。

使用transformers庫運行

你可以使用Transformers的Auto類和generate()函數進行對話推理。以下是一個示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Writer/Palmyra-Med-70B-32k"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and experienced expert in the healthcare and biomedical field, possessing extensive medical knowledge and practical expertise.",
    },
    {
        "role": "user",
        "content": "Does danzhi Xiaoyao San ameliorate depressive-like behavior by shifting toward serotonin via the downregulation of hippocampal indoleamine 2,3-dioxygenase?",
    },
]

input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
)

gen_conf = {
    "max_new_tokens": 256,
    "eos_token_id": [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")],
    "temperature": 0.0,
    "top_p": 0.9,
}

with torch.inference_mode():
    output_id = model.generate(input_ids, **gen_conf)

output_text = tokenizer.decode(output_id[0][input_ids.shape[1] :])

print(output_text)

📊 評估結果

生物醫學基準測試表現

Palmyra-Med-70B-32k在9個不同的生物醫學數據集上超過了GPT - 4、Gemini和Med - PaLM - 1等更大的模型，儘管參數較少，但平均得分達到85.9%，取得了先進的成果。它在臨床知識圖譜、醫學遺傳學和PubMedQA等任務中的出色表現，凸顯了其對生物醫學知識的有效掌握。

性能圖表

NIH測試結果

在NIH評估中，Palmyra-Med-70B-32k模型幾乎取得了滿分，凸顯了其有效處理大量醫學文檔的強大能力。

醫療用例

Palmyra-Med-70B-32k擅長分析和總結複雜的臨床筆記、電子健康記錄（EHR）數據和出院小結，提取關鍵信息以生成簡潔、結構化的摘要。它通過執行高級臨床實體識別，從非結構化文本中識別疾病、症狀、藥物、程序和解剖結構等關鍵醫學概念，幫助提升臨床決策能力。

通過利用其對醫學術語的深入理解，該模型可增強從EHR、研究文章和其他生物醫學來源的信息檢索、數據分析和知識發現能力。這些功能支持臨床決策支持、藥物警戒和醫學研究等應用。

偏差、風險和侷限性

儘管Palmyra-Med-70B-32k使用了高質量的數據，但可能存在不準確、偏差或不一致的情況，並且尚未在臨床試驗或現實世界的醫療環境中進行嚴格評估。

⚠️ 重要提示

不建議將該模型用於直接的患者護理、臨床決策支持或專業醫療目的。其使用應僅限於瞭解其侷限性的合格人員進行研究。Palmyra-Med-70B-32k不應取代專業的醫療判斷，將其應用於醫療用途需要進行大量額外的工作，包括徹底測試、符合指南、減輕偏差、人工監督和遵守法規。如有個人醫療需求，請始終諮詢合格的醫療服務提供者。

📄 引用信息

如需引用此模型，請使用以下格式：

@misc{Palmyra-Med-70B,
  author = {Writer Engineering team},
  title = {{Palmyra-Med-70B: A powerful LLM designed for healthcare}},
  howpublished = {\url{https://dev.writer.com}},
  year = 2024,
  month = June 
}

📞 聯繫信息

如有任何問題，請聯繫：Hello@writer.com