PMC LLAMA 7B

🚀 PMC_LLaMA_7B

本倉庫包含 PMC_LLaMA_7B 模型，它是基於 S2ORC 數據集中的 PMC 論文對 LLaMA - 7b 進行微調得到的模型，可應用於醫療領域。

🚀 快速開始

本模型可以按照以下方式加載：

import transformers
import torch
tokenizer = transformers.LlamaTokenizer.from_pretrained('chaoyi-wu/PMC_LLAMA_7B')
model = transformers.LlamaForCausalLM.from_pretrained('chaoyi-wu/PMC_LLAMA_7B')
sentence = 'Hello, doctor' 
batch = tokenizer(
            sentence,
            return_tensors="pt", 
            add_special_tokens=False
        )
with torch.no_grad():
    generated = model.generate(inputs = batch["input_ids"], max_length=200, do_sample=True, top_k=50)
    print('model predict: ',tokenizer.decode(generated[0]))

🔧 技術細節

模型使用以下超參數進行訓練：

• 輪數（Epochs）：5
• 批次大小（Batch size）：128
• 截斷長度（Cutoff length）：512
• 學習率（Learning rate）：2e - 5

每一輪訓練時，我們從每篇論文中採樣 512 個標記進行訓練。

📄 許可證

本項目採用 Apache - 2.0 許可證。

📦 數據集信息