Palmyra Med 70B 32K

🚀 Palmyra-Med-70B-32k：专为医疗保健打造的强大大语言模型

Palmyra-Med-70B-32k是一款专为医疗保健和生物医学领域设计的大语言模型，它在医疗数据上进行了微调，能够理解和生成特定领域的准确文本，为医疗研究和非商业应用提供有力支持。

📦 模型信息

📚 模型详情

Palmyra-Med-70B-32k由Writer开发，它基于Palmyra-Med-70b构建，提供了更长的上下文长度，满足了医疗行业的需求。它是生物医学基准测试中领先的大语言模型，平均得分85.87%，超过了GPT - 4、Claude Opus、Gemini和Med - PaLM - 2基础模型，以及经过医学训练的人类测试者。

资源与技术文档

• Writer博客
• Writer开发者网站
• Writer AI工作室
• Palmyra模型API

🔧 专业的生物医学应用

Palmyra-Med-70B-32k经过精心设计，以满足医学和生命科学领域独特的语言和知识需求。它在大量高质量的生物医学数据上进行了微调，确保能够准确、流畅地理解和生成特定领域的文本。

我们的系统集成了DPO数据集、精心设计的微调方案以及自定义的多样化医学指令数据集，使其能够很好地处理该领域的特定需求。训练流程的关键组件包括：

• 策略优化：利用直接偏好优化（DPO）来提升模型性能。DPO
• 微调数据集：自定义医学指令数据集（Writer内部构建）

🚀 快速开始

预期用途

• 预期用例：Palmyra-Med-70B-32k用于英文的非商业和研究用途。经过指令微调的模型适用于类似助手的对话，而预训练模型可用于各种自然语言生成任务。
• 超出范围的使用：以任何违反适用法律法规（包括贸易合规法律）的方式使用；以Writer可接受使用政策和Writer开放模型许可证禁止的任何其他方式使用；使用英文以外的语言。

⚠️ 重要提示

开发者可以根据Writer开放模型许可证和可接受使用政策，对Palmyra-Med-70B-32k模型进行微调以支持英文以外的语言。所有由Writer.com构建的模型都包含水印，以检测和防止滥用和非法使用。

使用transformers库运行

你可以使用Transformers的Auto类和generate()函数进行对话推理。以下是一个示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Writer/Palmyra-Med-70B-32k"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and experienced expert in the healthcare and biomedical field, possessing extensive medical knowledge and practical expertise.",
    },
    {
        "role": "user",
        "content": "Does danzhi Xiaoyao San ameliorate depressive-like behavior by shifting toward serotonin via the downregulation of hippocampal indoleamine 2,3-dioxygenase?",
    },
]

input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
)

gen_conf = {
    "max_new_tokens": 256,
    "eos_token_id": [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")],
    "temperature": 0.0,
    "top_p": 0.9,
}

with torch.inference_mode():
    output_id = model.generate(input_ids, **gen_conf)

output_text = tokenizer.decode(output_id[0][input_ids.shape[1] :])

print(output_text)

📊 评估结果

生物医学基准测试表现

Palmyra-Med-70B-32k在9个不同的生物医学数据集上超过了GPT - 4、Gemini和Med - PaLM - 1等更大的模型，尽管参数较少，但平均得分达到85.9%，取得了先进的成果。它在临床知识图谱、医学遗传学和PubMedQA等任务中的出色表现，凸显了其对生物医学知识的有效掌握。

性能图表

NIH测试结果

在NIH评估中，Palmyra-Med-70B-32k模型几乎取得了满分，凸显了其有效处理大量医学文档的强大能力。

医疗用例

Palmyra-Med-70B-32k擅长分析和总结复杂的临床笔记、电子健康记录（EHR）数据和出院小结，提取关键信息以生成简洁、结构化的摘要。它通过执行高级临床实体识别，从非结构化文本中识别疾病、症状、药物、程序和解剖结构等关键医学概念，帮助提升临床决策能力。

通过利用其对医学术语的深入理解，该模型可增强从EHR、研究文章和其他生物医学来源的信息检索、数据分析和知识发现能力。这些功能支持临床决策支持、药物警戒和医学研究等应用。

偏差、风险和局限性

尽管Palmyra-Med-70B-32k使用了高质量的数据，但可能存在不准确、偏差或不一致的情况，并且尚未在临床试验或现实世界的医疗环境中进行严格评估。

⚠️ 重要提示

不建议将该模型用于直接的患者护理、临床决策支持或专业医疗目的。其使用应仅限于了解其局限性的合格人员进行研究。Palmyra-Med-70B-32k不应取代专业的医疗判断，将其应用于医疗用途需要进行大量额外的工作，包括彻底测试、符合指南、减轻偏差、人工监督和遵守法规。如有个人医疗需求，请始终咨询合格的医疗服务提供者。

📄 引用信息

如需引用此模型，请使用以下格式：

@misc{Palmyra-Med-70B,
  author = {Writer Engineering team},
  title = {{Palmyra-Med-70B: A powerful LLM designed for healthcare}},
  howpublished = {\url{https://dev.writer.com}},
  year = 2024,
  month = June 
}

📞 联系信息

如有任何问题，请联系：Hello@writer.com