Mental Health Mistral 7b Instructv0.2 Finetuned V2

🚀 mental-health-mistral-7b-instructv0.2-finetuned-V2

本模型是 mistralai/Mistral-7B-Instruct-v0.2 在 mental_health_counseling_conversations 数据集上的微调版本。它在评估集上取得了如下结果：

• 损失值：0.6432

🚀 快速开始

模型使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftConfig, PeftModel

base_model = "mistralai/Mistral-7B-Instruct-v0.2"
adapter = "GRMenon/mental-health-mistral-7b-instructv0.2-finetuned-V2"

# Load tokenizer
tokenizer = AutoTokenizer.from_pretrained(
    base_model,
    add_bos_token=True,
    trust_remote_code=True,
    padding_side='left'
)

# Create peft model using base_model and finetuned adapter
config = PeftConfig.from_pretrained(adapter)
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path,
                                             load_in_4bit=True,
                                             device_map='auto',
                                             torch_dtype='auto')
model = PeftModel.from_pretrained(model, adapter)

device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.eval()

# Prompt content:
messages = [
    {"role": "user", "content": "Hey Connor! I have been feeling a bit down lately.I could really use some advice on how to feel better?"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages,
                                          tokenize=True,
                                          add_generation_prompt=True,
                                          return_tensors='pt').to(device)
output_ids = model.generate(input_ids=input_ids, max_new_tokens=512, do_sample=True, pad_token_id=2)
response = tokenizer.batch_decode(output_ids.detach().cpu().numpy(), skip_special_tokens = True)

# Model response: 
print(response[0])

✨ 主要特性

该模型是在心理学家与用户之间的心理健康对话语料库上微调的 Mistral-7B-Instruct-v0.2 模型。其目的是创建一个心理健康助手“Connor”，根据心理学家的回复来回答用户的问题。

📚 详细文档

训练和评估数据

该模型在心理学家与客户之间的心理健康对话语料库上进行微调，以上下文 - 响应配对的形式呈现。此数据集收集了来自两个在线咨询和治疗平台的问答。问题涵盖了广泛的心理健康主题，答案由合格的心理学家提供。 数据集来源：

• Kaggle
• Huggingface

训练超参数

训练期间使用了以下超参数：

• 学习率：0.0002
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam，其中 betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：余弦
• 学习率调度器预热比例：0.05
• 训练轮数：3
• 混合精度训练：Native AMP

训练结果

框架版本

• PEFT 0.7.1
• Transformers 4.36.1
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.15.0

📄 许可证

本项目采用 Apache-2.0 许可证。