Llama 3 8B UltraMedical

🚀 Llama-3-8B-UltraMedical

Llama-3-8B-UltraMedical是由清華大學C3I實驗室開發的一款專注於生物醫學領域的開放訪問大語言模型（LLM）。該模型基於Meta的Llama-3-8B構建，旨在提升醫療檢查的可及性、醫學文獻的理解能力以及臨床知識的應用水平。它在多個醫學基準測試中取得了優異成績，顯著超越了Flan-PaLM、OpenBioLM-8B等模型。

你可以在我們的🤗 Huggingface空間演示中體驗該模型！

🚀 快速開始

模型信息

使用示例

基礎用法

此模型使用Llama-3默認的聊天模板，且無需系統提示。以下是多項選擇題、PubMedQA和開放式問題的輸入示例：

⚠️ 重要提示

若要復現我們在醫學問答基準測試中的評估結果，建議使用以下格式來組織問題和多項選擇選項。

• MedQA和MedMCQA的輸入示例：

一名42歲的無家可歸男子在公園被發現昏迷後被送往急診室。他呼吸中有酒精味，已知有慢性酗酒史。頭部非對比CT掃描正常。患者因急性酒精中毒接受治療併入院。第二天，患者要求出院。他的生命體徵為脈搏120次/分鐘，呼吸頻率22次/分鐘，血壓136/88 mmHg。體格檢查發現，患者神志不清、煩躁不安，且大量出汗，尤其是手掌。全身皮膚蒼白。治療該患者最可能病情的推薦藥物的作用機制是什麼？

A. 它增加GABA門控氯離子通道開放的持續時間。
B. 它增加GABA門控氯離子通道開放的頻率。
C. 它減少GABA門控氯離子通道開放的頻率。
D. 它減少GABA門控氯離子通道開放的持續時間。

• PubMedQA的輸入示例：我們採用類似於MedPrompt的多項選擇格式來組織上下文和問題。

背景：小兒膠質母細胞瘤是一種臨床預後極差的惡性疾病。患者通常對放射治療有抵抗性，因此靶向藥物治療可能是膠質母細胞瘤治療的一種新可能性。存活素在膠質母細胞瘤中也過度表達。YM155是一種新型小分子存活素抑制劑，尚未在膠質母細胞瘤治療中進行研究。
背景：本研究使用了表達正常DNA依賴性蛋白激酶（DNA-PK）活性且對放射有抗性的人膠質母細胞瘤細胞系M059K，以及缺乏DNA-PK活性且對放射敏感的M059J細胞系。分別使用MTT（甲基噻唑基二苯基四唑鎓）測定、ELISA測定和蛋白質印跡分析來檢測YM155處理後細胞活力、DNA片段化以及存活素和分離酶的表達。
背景：YM155引起濃度依賴性的細胞毒性作用，在50 nM YM155處理48小時後，抑制了M059K和M059J細胞的細胞活力達70%。兩種細胞系的半數最大抑制濃度（IC50）約為30 - 35 nM。由於在30 nM YM155處理24小時後細胞質中DNA片段的免疫反應信號增加，因此確定兩種細胞系均發生了凋亡。M059K細胞中存活素和分離酶的表達高於M059J細胞。在兩種細胞系中，30 nM YM155處理24小時和48小時均顯著抑制了存活素和分離酶的表達。
新型存活素抑制劑YM155是否會在具有正常或缺乏DNA依賴性蛋白激酶活性的膠質母細胞瘤細胞系中引發細胞毒性？

A. 可能
B. 是
C. 否

• 開放式問題的輸入示例：

醫生你好，我叫Chaitanya，28歲，來自海得拉巴。我的問題是……我在第一次懷孕時得了甲狀腺疾病。我的預產期是2009年7月24日，但在7月6日凌晨7點左右突然大量出血，我趕緊去了醫院，但他們沒能保住孩子（男孩）……我失去了第一個孩子。6個月後我再次懷孕，但醫生說孩子有一些心臟問題，問題的嚴重程度要等孩子出生後才能知道，我應該進行計劃分娩。醫生在2010年10月21日進行了剖腹產。醫生說孩子的問題不是很嚴重，但這是一個心臟問題，所以我們需要觀察7天。第5天孩子去世了。我想知道是不是我有什麼問題才會發生這樣的事情……我在計劃下次懷孕前需要做什麼檢查嗎？到目前為止我已經做了兩次剖腹產。我下次懷孕的機會有多大？我需要等多久才能計劃下次懷孕？

研究主要用於脂質調節的他汀類藥物對免疫調節途徑的機制影響，重點在於闡明它們在管理心血管疾病患者臨床結局方面的治療作用，包括討論對動脈粥樣硬化疾病進展的影響。

高級用法

使用vLLM進行推理的代碼示例：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

llm = LLM(model="TsinghuaC3I/Llama-3-8B-UltraMedical", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("TsinghuaC3I/Llama-3-8B-UltraMedical")
sampling_params = SamplingParams(temperature=0.7, top_p=0.9, max_tokens=1024, stop=["<|eot_id|>"])

messages = [
    {"role": "user", "content": """上述輸入示例中使用的問題格式。"""},
]
prompts = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
print(prompts[0])
"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>

{question}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

"""

outputs = llm.generate(prompts=prompts, sampling_params=sampling_params)
print(outputs[0].outputs[0].text)

⚠️ 重要提示

此版本的模型僅支持單輪對話，在多輪對話方面的能力有限。我們計劃在下一次更新中改進這一點。

評估結果

Llama-3-8B-UltraMedical在多個流行的醫學基準測試（包括MedQA、MedMCQA、PubMedQA和MMLU-Medical）中，在7B級模型中取得了最佳平均成績。以下是詳細的評估結果：

表中說明：

• 對於MedQA，我們使用美國數據集的4個選項；對於MedMCQA，我們使用開發集；對於PubMedQA，我們使用需要推理的數據集。
• 對於MMLU，我們包括臨床知識（CK）、醫學遺傳學（MG）、解剖學（An）、專業醫學（PM）、大學生物學（CB）和大學醫學（CM），以與先前的研究保持一致。
• 貪婪搜索是我們默認的解碼策略。我們用(Ensemble)表示具有自一致性的集成分數。在我們的實驗中，我們進行10次解碼試驗，並通過多數投票做出最終決策（溫度=0.7，top_p=0.9）。
• 7B預訓練模型的部分結果來自開放醫學大語言模型排行榜。

訓練細節

該模型使用全參數和完全分片數據並行（FSDP）框架進行訓練。訓練過程在8個A6000 GPU上進行了約50小時。 超參數設置如下：

• torch類型：bfloat16
• 訓練輪數：3
• 學習率：2e-5
• 學習率調度器類型：餘弦
• 熱身比例：0.04
• 最大長度：1024
• 全局批量大小：128

侷限性與安全使用

雖然我們的模型具有良好的性能，但由於可能存在幻覺問題，在實際臨床環境中使用時必須謹慎。幻覺是指模型生成不正確或誤導性信息的情況，這可能會在臨床決策中帶來重大風險。建議用戶使用可信的醫學來源和專家諮詢來驗證模型的輸出，以確保安全性和準確性。

引用

如果您使用了該模型，請引用以下文獻：

@misc{UltraMedical,
  author = {Zhang, Kaiyan and Ding, Ning and Qi, Biqing and Zeng, Sihang and Li, Haoxin and Zhu, Xuekai and Chen, Zhang-Ren and Zhou, Bowen},
  title = {UltraMedical: Building Specialized Generalists in Biomedicine.},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/TsinghuaC3I/UltraMedical}},
}