Tinyllama 1.1B Medical

🚀 TinyLlama 1.1B 醫療模型 🤏🦙

本項目是一個基於TinyLlama-1.1B的醫療微調模型，它是https://huggingface.co/therealcyberlord/llama2-qlora-finetuned-medical 模型的輕量版本，原模型使用的是Llama 2 7B。本模型在<|user|> <|assistant|>指令上進行了微調，能更好地處理醫療相關的文本生成任務。

🚀 快速開始

以下是使用該模型的示例代碼：

from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM

config = PeftConfig.from_pretrained("therealcyberlord/TinyLlama-1.1B-Medical")
model = AutoModelForCausalLM.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")
model = PeftModel.from_pretrained(model, "therealcyberlord/TinyLlama-1.1B-Medical")

💻 使用示例

基礎用法

from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM

config = PeftConfig.from_pretrained("therealcyberlord/TinyLlama-1.1B-Medical")
model = AutoModelForCausalLM.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")
model = PeftModel.from_pretrained(model, "therealcyberlord/TinyLlama-1.1B-Medical")

🔧 技術細節

訓練數據

本模型使用了兩個數據源進行訓練：

• BI55/MedText：https://huggingface.co/datasets/BI55/MedText
• MedQuad-MedicalQnADataset：https://huggingface.co/datasets/keivalya/MedQuad-MedicalQnADataset

訓練過程

模型在經過打亂的組合數據集上進行了1000步的訓練。

框架版本

• PEFT 0.7.2.dev0

📄 信息表格