Mentallama Chat 7B

🚀 MentaLLaMA-chat-7B

MentaLLaMA-chat-7Bは、MentaLLaMAプロジェクトの一部です。これは、説明可能な精神健康分析を行うための最初のオープンソースの大規模言語モデル（LLM）シリーズで、命令に従う能力を備えています。このモデルは、Meta LLaMA2-chat-7Bの基礎モデルとIMHIの完全な命令微調整データに基づいて微調整されています。このモデルは、さまざまな精神健康状態に対する複雑な精神健康分析を行い、各予測に対する信頼できる説明を提供することが期待されています。

🚀 クイックスタート

MentaLLaMA-chat-7Bは、説明可能な精神健康分析を行うための最初のオープンソースの大規模言語モデル（LLM）シリーズの一部です。このモデルは、Meta LLaMA2-chat-7Bの基礎モデルとIMHIの完全な命令微調整データに基づいて微調整されています。このモデルは、さまざまな精神健康状態に対する複雑な精神健康分析を行い、各予測に対する信頼できる説明を提供することが期待されています。

✨ 主な機能

• 説明可能な精神健康分析を行う能力を備えています。
• 命令に従う能力があり、複雑な精神健康分析を行い、各予測に対する信頼できる説明を提供します。
• IMHIデータセットで微調整され、下流タスクでの性能が向上しています。

💻 使用例

基本的な使用法

from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-7B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-7B', device_map='auto')

高度な使用法

このコードでは、LlamaTokenizerを使用してトークナイザーをロードし、LlamaForCausalLMを使用してモデルをロードしています。device_map='auto'引数を使用することで、GPUが利用可能な場合は自動的にGPUを使用します。

📚 ドキュメント

モデルの概要

MentaLLaMA-chat-7Bは、Meta LLaMA2-chat-7Bの基礎モデルとIMHIの完全な命令微調整データに基づいて微調整されたモデルです。このモデルは、さまざまな精神健康状態に対する複雑な精神健康分析を行い、各予測に対する信頼できる説明を提供することが期待されています。

倫理的な考慮事項

MentaLLaMAの実験は、説明可能な精神健康分析において有望な性能を示していますが、すべての予測結果と生成された説明は非臨床研究のみに使用されるべきであり、相談者は専門の精神科医または臨床医から支援を受けるべきです。また、最近の研究では、LLMが性別格差などの潜在的なバイアスをもたらす可能性があることが示されています。同時に、いくつかの誤った予測結果、不適切な説明、および過剰一般化も、現在のLLMの潜在的なリスクを示しています。したがって、モデルを実際のシナリオの精神健康監視システムに適用するには、まだ多くの課題があります。

MentaLLaMAの他のモデル

MentaLLaMAプロジェクトには、MentaLLaMA-chat-7Bの他にも、MentaLLaMA-chat-13B、MentalBART、MentalT5というモデルが含まれています。

• MentaLLaMA-chat-13B：このモデルは、Meta LLaMA2-chat-13Bの基礎モデルとIMHIの完全な命令微調整データに基づいて微調整されています。学習データは10の精神健康分析タスクをカバーしています。
• MentalBART：このモデルは、BART-largeの基礎モデルとIMHIの完全な補完データに基づいて微調整されています。学習データは10の精神健康分析タスクをカバーしています。このモデルは命令に従う能力を持たないが、より軽量で、補完ベースの方法で説明可能な精神健康分析で良好な性能を発揮します。
• MentalT5：このモデルは、T5-largeの基礎モデルとIMHIの完全な補完データに基づいて微調整されています。学習データは10の精神健康分析タスクをカバーしています。このモデルは命令に従う能力を持たないが、より軽量で、補完ベースの方法で説明可能な精神健康分析で良好な性能を発揮します。

🔧 技術詳細

• モデルはMeta LLaMA2-chat-7Bの基礎モデルとIMHIの完全な命令微調整データに基づいて微調整されています。
• 学習データは75Kの高品質な自然言語命令を含むIMHIデータセットです。
• IMHIベンチマークで20Kのテストサンプルを使用して包括的な評価を行いました。結果は、MentalLLaMAが正確性において最先端の識別方法に近づき、高品質な説明を生成することを示しています。

📄 ライセンス

MentaLLaMA-chat-7BはMITライセンスの下で提供されています。詳細については、MITファイルを参照してください。

引用

もしあなたがMentaLLaMA-chat-7Bをあなたの研究で使用する場合は、以下の論文を引用してください。

@misc{yang2023mentalllama,
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models}, 
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
      year={2023},
      eprint={2309.13567},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

すべての予測結果と生成された説明は非臨床研究のみに使用されるべきであり、相談者は専門の精神科医または臨床医から支援を受けるべきです。

💡 使用建议

モデルを使用する際には、潜在的なバイアスや誤った予測結果、不適切な説明、過剰一般化などのリスクを考慮する必要があります。