CPU Compatible Mental Health Model

🚀 CPU互換のメンタルヘルスチャットボットモデル

このリポジトリには、メンタルヘルスカウンセリング会話用にファインチューニングされたLLaMAベースのモデルが含まれています。このモデルは、メンタルヘルスに関連する質問に対して、意味のある共感的な回答を提供します。CPUと低RAMのシステムでも動作するため、幅広いユーザーが利用できます。

🚀 クイックスタート

このモデルは、メンタルヘルスに関する質問に回答するために設計されています。以下の手順で、モデルを使用することができます。

✨ 主な機能

• メンタルヘルスカウンセリング会話でファインチューニング: このモデルは、メンタルヘルスサポート用に特別に作成されたデータセットを使用してトレーニングされています。
• 低リソース要件: 15GBのRAMとCPUを持つシステムで完全に実行可能で、GPUは必要ありません。
• MetaのLLaMA 3.2 1Bモデルで事前学習: LLaMAアーキテクチャの強みを生かして、高品質な回答を提供します。
• LoRA（低ランク適応）をサポート: 低い計算オーバーヘッドで効率的なファインチューニングを可能にします。

📦 インストール

1. リポジトリをクローンします:

   git clone https://huggingface.co/<your_hf_username>/mental-health-chatbot-model
   cd mental-health-chatbot-model
   

2. 必要なパッケージをインストールします:

   pip install torch transformers datasets huggingface-hub
   

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルとトークナイザーをロード
model_name = "<your_hf_username>/mental-health-chatbot-model"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 応答を生成
input_text = "I feel anxious and don't know what to do."
inputs = tokenizer(input_text, return_tensors="pt")
response = model.generate(**inputs, max_length=256, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(response[0], skip_special_tokens=True))

高度な使用法

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./fine_tuned_model",
    per_device_train_batch_size=4,
    num_train_epochs=3,
    evaluation_strategy="epoch",
    save_steps=500,
    logging_dir="./logs",
    learning_rate=5e-5,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=validation_dataset,
)

trainer.train()

互換性

このモデルは以下の環境で実行できます:

• CPUのみのシステム
• 15GBのRAMしかないマシン

📚 ドキュメント

モデルの詳細

モデルの性能

• トレーニングエポック: 3
• バッチサイズ: 4
• 学習率: 5e-5
• 評価戦略: エポック単位

ファインチューニングの手順

モデルを独自のデータセットでさらにファインチューニングするには:

1. Hugging Face Dataset形式でデータセットを準備します。
2. 以下のスクリプトを使用します:

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./fine_tuned_model",
    per_device_train_batch_size=4,
    num_train_epochs=3,
    evaluation_strategy="epoch",
    save_steps=500,
    logging_dir="./logs",
    learning_rate=5e-5,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=validation_dataset,
)

trainer.train()

📄 ライセンス

このプロジェクトは、Apache 2.0 Licenseの下でライセンスされています。

謝辞

• MetaのLLaMAモデル
• Hugging Faceのオープンソースツールとデータセット
• Mental Health Counseling Conversationsデータセットの作成者