🚀 CPU兼容的心理健康聊天机器人模型
本项目包含一个基于LLaMA微调的模型,专为心理健康咨询对话设计。该模型能够针对心理健康相关问题给出有意义且富有同理心的回复。它支持CPU运行,对内存要求较低,适合广大用户使用。
🚀 快速开始
本模型可在多种环境下运行,你可以按照以下步骤进行安装和使用。
✨ 主要特性
- 针对心理健康咨询对话进行微调:模型使用专门为心理健康支持整理的数据集进行训练。
- 低资源需求:可在仅配备15GB内存和CPU的系统上完整运行,无需GPU。
- 基于Meta的LLaMA 3.2 1B模型预训练:依托LLaMA架构的优势,提供高质量回复。
- 支持LoRA(低秩自适应):以较低的计算开销实现高效微调。
📦 安装指南
-
克隆仓库:
git clone https://huggingface.co/<your_hf_username>/mental-health-chatbot-model
cd mental-health-chatbot-model
-
安装所需包:
pip install torch transformers datasets huggingface-hub
💻 使用示例
基础用法
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "<your_hf_username>/mental-health-chatbot-model"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
input_text = "I feel anxious and don't know what to do."
inputs = tokenizer(input_text, return_tensors="pt")
response = model.generate(**inputs, max_length=256, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(response[0], skip_special_tokens=True))
高级用法
from transformers import Trainer, TrainingArguments
training_args = TrainingArguments(
output_dir="./fine_tuned_model",
per_device_train_batch_size=4,
num_train_epochs=3,
evaluation_strategy="epoch",
save_steps=500,
logging_dir="./logs",
learning_rate=5e-5,
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
)
trainer.train()
📚 详细文档
模型详情
模型性能
- 训练轮数:3
- 批次大小:4
- 学习率:5e-5
- 评估策略:按轮次评估
兼容性
此模型可在以下环境中运行:
微调说明
若要在你自己的数据集上进一步微调模型,请按以下步骤操作:
- 以Hugging Face数据集格式准备好你的数据集。
- 使用上述高级用法中的脚本进行微调。
📄 许可证
本项目采用Apache 2.0许可证。
致谢