Llama 3 8B UltraMedical

🚀 Llama-3-8B-UltraMedical

Llama-3-8B-UltraMedical是由清华大学C3I实验室开发的一款专注于生物医学领域的开放访问大语言模型（LLM）。该模型基于Meta的Llama-3-8B构建，旨在提升医疗检查的可及性、医学文献的理解能力以及临床知识的应用水平。它在多个医学基准测试中取得了优异成绩，显著超越了Flan-PaLM、OpenBioLM-8B等模型。

你可以在我们的🤗 Huggingface空间演示中体验该模型！

🚀 快速开始

模型信息

使用示例

基础用法

此模型使用Llama-3默认的聊天模板，且无需系统提示。以下是多项选择题、PubMedQA和开放式问题的输入示例：

⚠️ 重要提示

若要复现我们在医学问答基准测试中的评估结果，建议使用以下格式来组织问题和多项选择选项。

• MedQA和MedMCQA的输入示例：

一名42岁的无家可归男子在公园被发现昏迷后被送往急诊室。他呼吸中有酒精味，已知有慢性酗酒史。头部非对比CT扫描正常。患者因急性酒精中毒接受治疗并入院。第二天，患者要求出院。他的生命体征为脉搏120次/分钟，呼吸频率22次/分钟，血压136/88 mmHg。体格检查发现，患者神志不清、烦躁不安，且大量出汗，尤其是手掌。全身皮肤苍白。治疗该患者最可能病情的推荐药物的作用机制是什么？

A. 它增加GABA门控氯离子通道开放的持续时间。
B. 它增加GABA门控氯离子通道开放的频率。
C. 它减少GABA门控氯离子通道开放的频率。
D. 它减少GABA门控氯离子通道开放的持续时间。

• PubMedQA的输入示例：我们采用类似于MedPrompt的多项选择格式来组织上下文和问题。

背景：小儿胶质母细胞瘤是一种临床预后极差的恶性疾病。患者通常对放射治疗有抵抗性，因此靶向药物治疗可能是胶质母细胞瘤治疗的一种新可能性。存活素在胶质母细胞瘤中也过度表达。YM155是一种新型小分子存活素抑制剂，尚未在胶质母细胞瘤治疗中进行研究。
背景：本研究使用了表达正常DNA依赖性蛋白激酶（DNA-PK）活性且对放射有抗性的人胶质母细胞瘤细胞系M059K，以及缺乏DNA-PK活性且对放射敏感的M059J细胞系。分别使用MTT（甲基噻唑基二苯基四唑鎓）测定、ELISA测定和蛋白质印迹分析来检测YM155处理后细胞活力、DNA片段化以及存活素和分离酶的表达。
背景：YM155引起浓度依赖性的细胞毒性作用，在50 nM YM155处理48小时后，抑制了M059K和M059J细胞的细胞活力达70%。两种细胞系的半数最大抑制浓度（IC50）约为30 - 35 nM。由于在30 nM YM155处理24小时后细胞质中DNA片段的免疫反应信号增加，因此确定两种细胞系均发生了凋亡。M059K细胞中存活素和分离酶的表达高于M059J细胞。在两种细胞系中，30 nM YM155处理24小时和48小时均显著抑制了存活素和分离酶的表达。
新型存活素抑制剂YM155是否会在具有正常或缺乏DNA依赖性蛋白激酶活性的胶质母细胞瘤细胞系中引发细胞毒性？

A. 可能
B. 是
C. 否

• 开放式问题的输入示例：

医生你好，我叫Chaitanya，28岁，来自海得拉巴。我的问题是……我在第一次怀孕时得了甲状腺疾病。我的预产期是2009年7月24日，但在7月6日凌晨7点左右突然大量出血，我赶紧去了医院，但他们没能保住孩子（男孩）……我失去了第一个孩子。6个月后我再次怀孕，但医生说孩子有一些心脏问题，问题的严重程度要等孩子出生后才能知道，我应该进行计划分娩。医生在2010年10月21日进行了剖腹产。医生说孩子的问题不是很严重，但这是一个心脏问题，所以我们需要观察7天。第5天孩子去世了。我想知道是不是我有什么问题才会发生这样的事情……我在计划下次怀孕前需要做什么检查吗？到目前为止我已经做了两次剖腹产。我下次怀孕的机会有多大？我需要等多久才能计划下次怀孕？

研究主要用于脂质调节的他汀类药物对免疫调节途径的机制影响，重点在于阐明它们在管理心血管疾病患者临床结局方面的治疗作用，包括讨论对动脉粥样硬化疾病进展的影响。

高级用法

使用vLLM进行推理的代码示例：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

llm = LLM(model="TsinghuaC3I/Llama-3-8B-UltraMedical", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("TsinghuaC3I/Llama-3-8B-UltraMedical")
sampling_params = SamplingParams(temperature=0.7, top_p=0.9, max_tokens=1024, stop=["<|eot_id|>"])

messages = [
    {"role": "user", "content": """上述输入示例中使用的问题格式。"""},
]
prompts = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
print(prompts[0])
"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>

{question}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

"""

outputs = llm.generate(prompts=prompts, sampling_params=sampling_params)
print(outputs[0].outputs[0].text)

⚠️ 重要提示

此版本的模型仅支持单轮对话，在多轮对话方面的能力有限。我们计划在下一次更新中改进这一点。

评估结果

Llama-3-8B-UltraMedical在多个流行的医学基准测试（包括MedQA、MedMCQA、PubMedQA和MMLU-Medical）中，在7B级模型中取得了最佳平均成绩。以下是详细的评估结果：

表中说明：

• 对于MedQA，我们使用美国数据集的4个选项；对于MedMCQA，我们使用开发集；对于PubMedQA，我们使用需要推理的数据集。
• 对于MMLU，我们包括临床知识（CK）、医学遗传学（MG）、解剖学（An）、专业医学（PM）、大学生物学（CB）和大学医学（CM），以与先前的研究保持一致。
• 贪婪搜索是我们默认的解码策略。我们用(Ensemble)表示具有自一致性的集成分数。在我们的实验中，我们进行10次解码试验，并通过多数投票做出最终决策（温度=0.7，top_p=0.9）。
• 7B预训练模型的部分结果来自开放医学大语言模型排行榜。

训练细节

该模型使用全参数和完全分片数据并行（FSDP）框架进行训练。训练过程在8个A6000 GPU上进行了约50小时。 超参数设置如下：

• torch类型：bfloat16
• 训练轮数：3
• 学习率：2e-5
• 学习率调度器类型：余弦
• 热身比例：0.04
• 最大长度：1024
• 全局批量大小：128

局限性与安全使用

虽然我们的模型具有良好的性能，但由于可能存在幻觉问题，在实际临床环境中使用时必须谨慎。幻觉是指模型生成不正确或误导性信息的情况，这可能会在临床决策中带来重大风险。建议用户使用可信的医学来源和专家咨询来验证模型的输出，以确保安全性和准确性。

引用

如果您使用了该模型，请引用以下文献：

@misc{UltraMedical,
  author = {Zhang, Kaiyan and Ding, Ning and Qi, Biqing and Zeng, Sihang and Li, Haoxin and Zhu, Xuekai and Chen, Zhang-Ren and Zhou, Bowen},
  title = {UltraMedical: Building Specialized Generalists in Biomedicine.},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/TsinghuaC3I/UltraMedical}},
}