Llama Medx V3.2

🚀 Llama-medx_v3.2 - 專為醫療領域打造

Llama-medx_v3.2 是專門針對醫療領域進行微調的模型，能有效滿足醫療場景下的各種需求。

✨ 主要特性

• 專為醫療領域微調：精準適配醫療術語和推理邏輯。
• 採用先進訓練方法：結合 監督微調（SFT） 和 優勢比偏好優化（ORPO），在保證學習效率的同時，使模型與醫療知識高度契合。
• 防止災難性遺忘：通過精心設計的超參數調整策略，確保模型在不同任務中表現穩定。

📦 安裝指南

使用該模型時，請確保 transformers>=4.45.2。

💻 使用示例

基礎用法

import torch
import transformers

model_id = "skumar9/Llama-medx_v3.2"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

prompt = "Question: A 20-year-old man comes to the physician because of worsening gait unsteadiness and bilateral hearing loss for 1 month. He has had intermittent tingling sensations on both cheeks over this time period. He has no history of serious medical illness and takes no medications. Audiometry shows bilateral sensorineural hearing loss. Genetic evaluation shows a mutation of a tumor suppressor gene on chromosome 22 that encodes merlin. This patient is at increased risk for which of the following conditions?\nA. Renal cell carcinoma\nB. Meningioma\nC. Astrocytoma\nD. Vascular malformations\nAnswer:\n"
gen_kwargs = {
    "return_full_text": False,
    "max_new_tokens": 100,
}
print(pipeline(prompt, **gen_kwargs))

🔧 技術細節

訓練流程

Llama-medx_v3.2 基於 Meta-Llama-3.1-8B 架構構建，運用 監督微調（SFT） 和 優勢比偏好優化（ORPO） 進行微調。這種方法確保了模型能有效適應醫療術語和推理方式，同時保持學習效率。通過精心實施超參數調整策略，防止了災難性遺忘，保證了模型在不同任務中的一致性能。此外，還對基準模型進行了進一步微調，以提高其回答多項選擇題的能力。

數據準備

使用公開可用的數據集，並針對強化反饋對數據集進行了豐富。當 Llama 基礎模型的知識和準確性不足時，這些豐富的數據集能發揮重要作用。