CBT LLM

🚀 百川7B LoRA指令微調模型

這是一個基於https://huggingface.co/baichuan-inc/baichuan-7B 進行指令微調的LoRA模型，可用於問答任務。本模型的訓練框架為https://github.com/hiyouga/LLaMA-Factory 。使用此模型時，請遵循百川7B的許可協議。

🚀 快速開始

安裝依賴

要安裝必要的包，請運行以下命令：

pip install transformers==4.33.2

使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("CBT-LLM", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("CBT-LLM", trust_remote_code=True).cuda()
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

query = "為什麼生怕一點點事情做不好被人批評？做事情，別人告訴了我方法，但身體不會按方法來，非要折騰幾遍，才發現別人告訴的方法和口訣，是最高效的；而且最近一個月，睡眠不好，整個白天都是無精打采的，每天活的很喪，知道自己的問題出在哪裡，不曉得怎麼去做出改變"
template = (
    "你是一名經驗豐富的心理諮詢師，專長於認知行為療法, 以心理諮詢師的身份回答以下問題。\n"
    "Human: {}\nAssistant: "
)

inputs = tokenizer([template.format(query)], return_tensors="pt")
inputs = inputs.to("cuda")
generate_ids = model.generate(**inputs, max_new_tokens=256, streamer=streamer)

📄 許可證

本模型採用Apache-2.0許可證。請遵循百川7B的許可協議使用此模型。