Palmyra Med 70B

🚀 Palmyra-Med-70B，专为医疗保健领域打造的强大大语言模型

Palmyra-Med-70B是专门为满足医疗保健行业需求而设计的大语言模型。它在生物医学基准测试中表现出色，平均得分达85.87%，超越了GPT - 4、Claude Opus、Gemini和Med - PaLM - 2基础模型，甚至超过了接受过医学训练的人类测试者。

🚀 快速开始

使用transformers库运行对话推理

你可以使用Transformers的Auto类和generate()函数来运行对话推理。以下是一个示例代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Writer/Palmyra-Med-70B"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and experienced expert in the healthcare and biomedical field, possessing extensive medical knowledge and practical expertise.",
    },
    {
        "role": "user",
        "content": "Does danzhi Xiaoyao San ameliorate depressive-like behavior by shifting toward serotonin via the downregulation of hippocampal indoleamine 2,3-dioxygenase?",
    },
]

input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
)

gen_conf = {
    "max_new_tokens": 256,
    "eos_token_id": [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")],
    "temperature": 0.0,
    "top_p": 0.9,
}

with torch.inference_mode():
    output_id = model.generate(input_ids, **gen_conf)

output_text = tokenizer.decode(output_id[0][input_ids.shape[1] :])

print(output_text)

✨ 主要特性

• 专为生物医学应用定制：Palmyra-Med-70B经过精心设计，以满足医学和生命科学领域独特的语言和知识需求。它在大量高质量的生物医学数据上进行了微调，能够准确、流畅地理解和生成特定领域的文本。
• 先进的训练方法：系统集成了DPO数据集、精心设计的微调方案以及自定义的多样化医学指令数据集。训练管道的关键组成部分包括使用直接偏好优化（DPO）来提升模型性能。
• 出色的性能表现：在9个不同的生物医学数据集上，Palmyra-Med-70B超越了如GPT - 4、Gemini和Med - PaLM - 2等更大的模型，尽管参数较少，但平均得分达到85.9%，在临床知识图谱、医学遗传学和PubMedQA等任务中表现出色。
• 强大的医疗应用能力：能够分析和总结复杂的临床笔记、电子健康记录（EHR）数据和出院小结，提取关键信息生成简洁、结构化的摘要；可进行高级临床实体识别，从非结构化文本中识别疾病、症状、药物、程序和解剖结构等关键医学概念；有助于从EHR、研究文章和其他生物医学来源中进行信息检索、数据分析和知识发现。

📚 详细文档

模型描述

• 开发者：Writer
• 支持语言：英语
• 许可证：Writer开放模型许可证
• 微调基础模型：Palmyra - X - 003
• 上下文窗口：8192

模型详情

Palmyra-Med是Writer专门为满足医疗保健行业需求而构建的模型。它是生物医学基准测试中领先的大语言模型，平均得分85.87%。

资源和技术文档

• Writer博客
• Writer开发者网站
• Writer AI工作室
• Palmyra模型API

🔧 技术细节

训练数据和方法

• 策略优化：利用直接偏好优化（DPO）来提升模型性能。DPO
• 微调数据集：自定义医学指令数据集（Writer内部构建）

📄 许可证

本模型使用Writer开放模型许可证。点击“同意”即表示您同意许可协议，并认可Writer的隐私政策。

📊 评估结果

生物医学基准测试性能

医疗用例

Palmyra-Med-70B在分析和总结复杂的临床笔记、EHR数据和出院小结方面表现出色，能够提取关键信息生成简洁、结构化的摘要。它还能进行高级临床实体识别，从非结构化文本中识别关键医学概念，有助于信息检索、数据分析和知识发现，支持临床决策支持、药物警戒和医学研究等应用。

⚠️ 偏差、风险和局限性

Palmyra-Med-70B尽管使用了高质量的数据，但可能存在不准确、偏差或不一致的情况，并且尚未在临床试验或现实世界的医疗环境中进行严格评估。不建议将该模型用于直接的患者护理、临床决策支持或专业医疗目的，而应仅限于了解其局限性的合格人员进行研究。Palmyra-Med-70B不能替代专业的医学判断，将其用于医疗用途需要进行大量额外的工作，包括彻底测试、符合指南、减轻偏差、人工监督和遵守法规等。如有个人医疗需求，请始终咨询合格的医疗保健提供者。

📖 引用和相关信息

如需引用此模型，请使用以下格式：

@misc{Palmyra-Med-70B,
  author = {Writer Engineering team},
  title = {{Palmyra-Med-70b: A powerful LLM designed for healthcare}},
  howpublished = {\url{https://dev.writer.com}},
  year = 2024,
  month = June 
}

联系邮箱：Hello@writer.com