PMC LLaMA 13B

🚀 PMC_LLaMA

PMC_LLaMA旨在獲取醫療領域的基礎模型，我們提出了MedLLaMA_13B和PMC_LLaMA_13B。MedLLaMA_13B基於LLaMA - 13B進行初始化，並使用醫療語料庫進行進一步預訓練。儘管它獲得了專業的醫學知識，但缺乏遵循指令的能力。因此，我們構建了一個指令調優數據集，並對調優後的模型進行評估。

如表所示，PMC_LLaMA_13B在醫學問答基準測試中取得了與ChatGPT相當的結果。

🚀 快速開始

模型介紹

為了獲取醫療領域的基礎模型，我們提出了 MedLLaMA_13B 和 PMC_LLaMA_13B。MedLLaMA_13B 從 LLaMA - 13B 初始化，並使用醫療語料庫進行進一步預訓練。雖然它獲得了專業知識，但缺乏遵循指令的能力。因此，我們構建了一個指令調優數據集並評估調優後的模型。

模型表現

PMC_LLaMA_13B 在醫學問答基準測試中取得了與 ChatGPT 相當的結果。

💻 使用示例

基礎用法

import transformers
import torch

tokenizer = transformers.LlamaTokenizer.from_pretrained('axiong/PMC_LLaMA_13B')
model = transformers.LlamaForCausalLM.from_pretrained('axiong/PMC_LLaMA_13B')

sentence = 'Hello, doctor' 
batch = tokenizer(
    sentence,
    return_tensors="pt", 
    add_special_tokens=False
)
with torch.no_grad():
    generated = model.generate(
        inputs = batch["input_ids"],
        max_length=200,
        do_sample=True,
        top_k=50
    )
    print('model predict: ',tokenizer.decode(generated[0]))

📄 許可證

本項目採用 OpenRAIL 許可證。