Mental Health Mistral 7b Instructv0.2 Finetuned V2

🚀 メンタルヘルス用Mistral-7B-Instruct-v0.2 微調整版V2

このモデルは、mental_health_counseling_conversationsデータセット上で、mistralai/Mistral-7B-Instruct-v0.2を微調整したバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.6432

🚀 クイックスタート

このモデルは、心理カウンセリングの会話データを用いて微調整されたMistral-7B-Instruct-v0.2モデルです。以下のコードを使って、モデルを使用することができます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftConfig, PeftModel

base_model = "mistralai/Mistral-7B-Instruct-v0.2"
adapter = "GRMenon/mental-health-mistral-7b-instructv0.2-finetuned-V2"

# Load tokenizer
tokenizer = AutoTokenizer.from_pretrained(
    base_model,
    add_bos_token=True,
    trust_remote_code=True,
    padding_side='left'
)

# Create peft model using base_model and finetuned adapter
config = PeftConfig.from_pretrained(adapter)
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path,
                                             load_in_4bit=True,
                                             device_map='auto',
                                             torch_dtype='auto')
model = PeftModel.from_pretrained(model, adapter)

device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.eval()

# Prompt content:
messages = [
    {"role": "user", "content": "Hey Connor! I have been feeling a bit down lately.I could really use some advice on how to feel better?"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages,
                                          tokenize=True,
                                          add_generation_prompt=True,
                                          return_tensors='pt').to(device)
output_ids = model.generate(input_ids=input_ids, max_new_tokens=512, do_sample=True, pad_token_id=2)
response = tokenizer.batch_decode(output_ids.detach().cpu().numpy(), skip_special_tokens = True)

# Model response: 
print(response[0])

✨ 主な機能

このモデルは、心理カウンセリングの会話データを用いて微調整されており、ユーザーの質問に対して、心理カウンセラーの回答に基づいた応答を生成することができます。具体的には、以下のような機能があります。

• メンタルヘルスに関する質問に対する回答を生成する。
• 心理カウンセラーのサポートを模倣した応答を提供する。

📚 ドキュメント

モデルの説明

このモデルは、心理カウンセラーとユーザーの間のメンタルヘルス会話のコーパスを用いて微調整されたMistral-7B-Instruct-v0.2モデルです。目的は、心理カウンセラーの回答に基づいてユーザーの質問に対応するメンタルヘルスアシスタント「Connor」を作成することです。

学習と評価データ

このモデルは、心理カウンセラーとクライアントの間のメンタルヘルス会話のコーパスを用いて微調整されています。このデータセットは、2つのオンラインカウンセリングおよびセラピープラットフォームから収集された質問と回答のコレクションです。質問は幅広いメンタルヘルストピックをカバーしており、回答は資格のある心理カウンセラーによって提供されています。 データセットは以下の場所で見つけることができます。

• Kaggle
• Huggingface

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0002
• 学習バッチサイズ: 8
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: コサイン
• 学習率スケジューラのウォームアップ比率: 0.05
• エポック数: 3
• 混合精度学習: Native AMP

学習結果

フレームワークのバージョン

• PEFT 0.7.1
• Transformers 4.36.1
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.15.0

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。