CPU Compatible Mental Health Model

🚀 CPU兼容的心理健康聊天机器人模型

本项目包含一个基于LLaMA微调的模型，专为心理健康咨询对话设计。该模型能够针对心理健康相关问题给出有意义且富有同理心的回复。它支持CPU运行，对内存要求较低，适合广大用户使用。

🚀 快速开始

本模型可在多种环境下运行，你可以按照以下步骤进行安装和使用。

✨ 主要特性

• 针对心理健康咨询对话进行微调：模型使用专门为心理健康支持整理的数据集进行训练。
• 低资源需求：可在仅配备15GB内存和CPU的系统上完整运行，无需GPU。
• 基于Meta的LLaMA 3.2 1B模型预训练：依托LLaMA架构的优势，提供高质量回复。
• 支持LoRA（低秩自适应）：以较低的计算开销实现高效微调。

📦 安装指南

1. 克隆仓库：

   git clone https://huggingface.co/<your_hf_username>/mental-health-chatbot-model
   cd mental-health-chatbot-model
   

2. 安装所需包：

   pip install torch transformers datasets huggingface-hub
   

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

# Load model and tokenizer
model_name = "<your_hf_username>/mental-health-chatbot-model"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Generate a response
input_text = "I feel anxious and don't know what to do."
inputs = tokenizer(input_text, return_tensors="pt")
response = model.generate(**inputs, max_length=256, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(response[0], skip_special_tokens=True))

高级用法

# 如果你想在自定义数据集上对模型进行微调，可以参考以下步骤。
from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./fine_tuned_model",
    per_device_train_batch_size=4,
    num_train_epochs=3,
    evaluation_strategy="epoch",
    save_steps=500,
    logging_dir="./logs",
    learning_rate=5e-5,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=validation_dataset,
)

trainer.train()

📚 详细文档

模型详情

模型性能

• 训练轮数：3
• 批次大小：4
• 学习率：5e-5
• 评估策略：按轮次评估

兼容性

此模型可在以下环境中运行：

• 仅支持CPU的系统
• 内存低至15GB的机器

微调说明

若要在你自己的数据集上进一步微调模型，请按以下步骤操作：

1. 以Hugging Face数据集格式准备好你的数据集。
2. 使用上述高级用法中的脚本进行微调。

📄 许可证

本项目采用Apache 2.0许可证。

致谢

• Meta 提供了LLaMA模型
• Hugging Face 提供了开源工具和数据集
• 心理健康咨询对话数据集的创建者