CPU Compatible Mental Health Model

🚀 CPU兼容的心理健康聊天機器人模型

本項目包含一個基於LLaMA微調的模型，專為心理健康諮詢對話設計。該模型能夠針對心理健康相關問題給出有意義且富有同理心的回覆。它支持CPU運行，對內存要求較低，適合廣大用戶使用。

🚀 快速開始

本模型可在多種環境下運行，你可以按照以下步驟進行安裝和使用。

✨ 主要特性

• 針對心理健康諮詢對話進行微調：模型使用專門為心理健康支持整理的數據集進行訓練。
• 低資源需求：可在僅配備15GB內存和CPU的系統上完整運行，無需GPU。
• 基於Meta的LLaMA 3.2 1B模型預訓練：依託LLaMA架構的優勢，提供高質量回復。
• 支持LoRA（低秩自適應）：以較低的計算開銷實現高效微調。

📦 安裝指南

1. 克隆倉庫：

   git clone https://huggingface.co/<your_hf_username>/mental-health-chatbot-model
   cd mental-health-chatbot-model
   

2. 安裝所需包：

   pip install torch transformers datasets huggingface-hub
   

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

# Load model and tokenizer
model_name = "<your_hf_username>/mental-health-chatbot-model"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Generate a response
input_text = "I feel anxious and don't know what to do."
inputs = tokenizer(input_text, return_tensors="pt")
response = model.generate(**inputs, max_length=256, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(response[0], skip_special_tokens=True))

高級用法

# 如果你想在自定義數據集上對模型進行微調，可以參考以下步驟。
from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./fine_tuned_model",
    per_device_train_batch_size=4,
    num_train_epochs=3,
    evaluation_strategy="epoch",
    save_steps=500,
    logging_dir="./logs",
    learning_rate=5e-5,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=validation_dataset,
)

trainer.train()

📚 詳細文檔

模型詳情

模型性能

• 訓練輪數：3
• 批次大小：4
• 學習率：5e-5
• 評估策略：按輪次評估

兼容性

此模型可在以下環境中運行：

• 僅支持CPU的系統
• 內存低至15GB的機器

微調說明

若要在你自己的數據集上進一步微調模型，請按以下步驟操作：

1. 以Hugging Face數據集格式準備好你的數據集。
2. 使用上述高級用法中的腳本進行微調。

📄 許可證

本項目採用Apache 2.0許可證。

致謝

• Meta 提供了LLaMA模型
• Hugging Face 提供了開源工具和數據集
• 心理健康諮詢對話數據集的創建者