Mentallama Chat 13B

🚀 MentaLLaMA-chat-13B

MentaLLaMA-chat-13Bは、説明可能な精神健康分析を行う最初のオープンソースの大規模言語モデル（LLM）シリーズであるMentaLLaMAプロジェクトの一部です。このモデルは、Meta LLaMA2-chat-13Bの基礎モデルとIMHIの完全な命令微調整データを基に微調整されています。

🚀 クイックスタート

MentaLLaMA-chat-13Bは、様々な精神健康状態に対する複雑な精神健康分析を行い、各予測に対して信頼できる説明を提供することが期待されています。このモデルは、75Kの高品質な自然言語命令を含むIMHIデータセットで微調整され、下流タスクでの性能が向上しています。また、20Kのテストサンプルを含むIMHIベンチマークで包括的な評価を行っており、結果はMentaLLaMAが最先端の識別方法に近い正確性を示し、高品質な説明を生成することを示しています。

✨ 主な機能

• 様々な精神健康状態に対する複雑な精神健康分析を行うことができます。
• 各予測に対して信頼できる説明を提供します。
• IMHIデータセットで微調整され、下流タスクでの性能が向上しています。

📦 インストール

このモデルを使用するには、Hugging Face Transformersライブラリを使用します。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-13B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-13B', device_map='auto')

この例では、LlamaTokenizerを使用してトークナイザーをロードし、LlamaForCausalLMを使用してモデルをロードしています。device_map='auto'引数は、GPUが利用可能な場合は自動的にGPUを使用するために使用されます。

📚 ドキュメント

倫理的な考慮事項

MentaLLaMAに関する実験は、説明可能な精神健康分析において有望な性能を示していますが、すべての予測結果と生成された説明は非臨床研究のみに使用されるべきであり、相談者は専門の精神科医または臨床医から助けを求めるべきです。また、最近の研究では、LLMが性別格差などの潜在的なバイアスをもたらす可能性があることが示されています。同時に、一部の誤った予測結果、不適切な説明、および過剰な一般化も、現在のLLMの潜在的なリスクを示しています。したがって、このモデルを実際のシナリオの精神健康監視システムに適用するには、まだ多くの課題があります。

MentaLLaMAの他のモデル

MentaLLaMA-chat-13Bに加えて、MentaLLaMAプロジェクトには他にもモデルが含まれています。

• MentaLLaMA-chat-7B：このモデルは、Meta LLaMA2-chat-7Bの基礎モデルとIMHIの完全な命令微調整データを基に微調整されています。トレーニングデータは10の精神健康分析タスクをカバーしています。
• MentalBART：このモデルは、BART-largeの基礎モデルとIMHIの完全な補完データを基に微調整されています。トレーニングデータは10の精神健康分析タスクをカバーしています。このモデルは命令追従能力を持たないが、より軽量で、補完ベースの方法で説明可能な精神健康分析で良好な性能を発揮します。
• MentalT5：このモデルは、T5-largeの基礎モデルとIMHIの完全な補完データを基に微調整されています。トレーニングデータは10の精神健康分析タスクをカバーしています。このモデルは命令追従能力を持たないが、より軽量で、補完ベースの方法で説明可能な精神健康分析で良好な性能を発揮します。

📄 ライセンス

MentaLLaMA-chat-13BはMITライセンスの下で公開されています。詳細については、MITファイルを参照してください。

📚 引用

もしあなたの研究でMentaLLaMA-chat-7Bを使用した場合、以下の論文を引用してください。

@misc{yang2023mentalllama,
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models}, 
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
      year={2023},
      eprint={2309.13567},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}