Mental Health Mistral 7b Instructv0.2 Finetuned V2

🚀 mental-health-mistral-7b-instructv0.2-finetuned-V2

本模型是 mistralai/Mistral-7B-Instruct-v0.2 在 mental_health_counseling_conversations 數據集上的微調版本。它在評估集上取得了如下結果：

• 損失值：0.6432

🚀 快速開始

模型使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftConfig, PeftModel

base_model = "mistralai/Mistral-7B-Instruct-v0.2"
adapter = "GRMenon/mental-health-mistral-7b-instructv0.2-finetuned-V2"

# Load tokenizer
tokenizer = AutoTokenizer.from_pretrained(
    base_model,
    add_bos_token=True,
    trust_remote_code=True,
    padding_side='left'
)

# Create peft model using base_model and finetuned adapter
config = PeftConfig.from_pretrained(adapter)
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path,
                                             load_in_4bit=True,
                                             device_map='auto',
                                             torch_dtype='auto')
model = PeftModel.from_pretrained(model, adapter)

device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.eval()

# Prompt content:
messages = [
    {"role": "user", "content": "Hey Connor! I have been feeling a bit down lately.I could really use some advice on how to feel better?"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages,
                                          tokenize=True,
                                          add_generation_prompt=True,
                                          return_tensors='pt').to(device)
output_ids = model.generate(input_ids=input_ids, max_new_tokens=512, do_sample=True, pad_token_id=2)
response = tokenizer.batch_decode(output_ids.detach().cpu().numpy(), skip_special_tokens = True)

# Model response: 
print(response[0])

✨ 主要特性

該模型是在心理學家與用戶之間的心理健康對話語料庫上微調的 Mistral-7B-Instruct-v0.2 模型。其目的是創建一個心理健康助手“Connor”，根據心理學家的回覆來回答用戶的問題。

📚 詳細文檔

訓練和評估數據

該模型在心理學家與客戶之間的心理健康對話語料庫上進行微調，以上下文 - 響應配對的形式呈現。此數據集收集了來自兩個在線諮詢和治療平臺的問答。問題涵蓋了廣泛的心理健康主題，答案由合格的心理學家提供。 數據集來源：

• Kaggle
• Huggingface

訓練超參數

訓練期間使用了以下超參數：

• 學習率：0.0002
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam，其中 betas=(0.9,0.999)，epsilon=1e-08
• 學習率調度器類型：餘弦
• 學習率調度器預熱比例：0.05
• 訓練輪數：3
• 混合精度訓練：Native AMP

訓練結果

框架版本

• PEFT 0.7.1
• Transformers 4.36.1
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.15.0

📄 許可證

本項目採用 Apache-2.0 許可證。