Llama 2 7b MedQuAD

🚀 Peft模型

本項目基於 meta-llama/Llama-2-7b-chat-hf 模型，使用 MedQuAD（醫學問答數據集）進行微調。如果你對如何微調 Llama-2 或其他大語言模型感興趣，此倉庫 會為你提供相關指導。

🚀 快速開始

模型信息

許可證

本項目採用 Apache-2.0 許可證。

💻 使用示例

基礎用法

base_model = "meta-llama/Llama-2-7b-chat-hf"
adapter = 'EdwardYu/llama-2-7b-MedQuAD'

tokenizer = AutoTokenizer.from_pretrained(adapter)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    load_in_4bit=True,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type='nf4'
    ),
)
model = PeftModel.from_pretrained(model, adapter)

question = 'What are the side effects or risks of Glucagon?'
inputs = tokenizer(question, return_tensors="pt").to("cuda")
outputs = model.generate(inputs=inputs.input_ids, max_length=1024)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

高級用法

若要更快地運行模型推理，可以在不進行 4 位量化的情況下以 16 位加載模型。

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter)