Mentallama Chat 7B Hf

🚀 MentaLLaMA-chat-7B

MentaLLaMA-chat-7Bは、MentaLLaMAプロジェクトの一部です。これは、説明可能な精神健康分析を行うための最初のオープンソースの大規模言語モデル（LLM）シリーズで、命令に従う能力を備えています。このモデルは、Meta LLaMA2-chat-7Bの基礎モデルと完全なIMHI命令微調整データに基づいて微調整されています。様々な精神健康状態に対する複雑な精神健康分析を行い、各予測に対する信頼できる説明を提供することが期待されています。

🚀 クイックスタート

MentaLLaMA-chat-7Bは、説明可能な精神健康分析を行うための最初のオープンソースの大規模言語モデル（LLM）シリーズの一部です。このモデルは、Meta LLaMA2-chat-7Bの基礎モデルと完全なIMHI命令微調整データに基づいて微調整されています。

✨ 主な機能

• 様々な精神健康状態に対する複雑な精神健康分析を行うことができます。
• 各予測に対する信頼できる説明を提供します。
• 75Kの高品質な自然言語命令を含むIMHIデータセットで微調整されており、下流タスクでのパフォーマンスが向上しています。

📚 ドキュメント

概要

MentaLLaMA-chat-7Bは、Meta LLaMA2-chat-7Bの基礎モデルと完全なIMHI命令微調整データに基づいて微調整された大規模言語モデルです。このモデルは、様々な精神健康状態に対する複雑な精神健康分析を行い、各予測に対する信頼できる説明を提供することが期待されています。

倫理的な考慮事項

MentaLLaMAに関する実験は、説明可能な精神健康分析において有望なパフォーマンスを示していますが、すべての予測結果と生成された説明は非臨床研究にのみ使用すべきであり、相談者は専門の精神科医または臨床医から助けを求めるべきです。また、最近の研究では、LLMが性別格差などの潜在的なバイアスをもたらす可能性があることが示されています。同時に、誤った予測結果、不適切な説明、過剰一般化なども、現在のLLMの潜在的なリスクを示しています。したがって、このモデルを実際の精神健康監視システムに適用するには、まだ多くの課題があります。

MentaLLaMAの他のモデル

MentaLLaMAプロジェクトには、MentaLLaMA-chat-7Bの他に、以下のモデルが含まれています。

• MentaLLaMA-chat-13B：このモデルは、Meta LLaMA2-chat-13Bの基礎モデルと完全なIMHI命令微調整データに基づいて微調整されています。学習データは、10の精神健康分析タスクをカバーしています。
• MentalBART：このモデルは、BART-largeの基礎モデルと完全なIMHI-completionデータに基づいて微調整されています。学習データは、10の精神健康分析タスクをカバーしています。このモデルは命令に従う能力を持たないが、より軽量で、完了ベースの方法で説明可能な精神健康分析において良好なパフォーマンスを発揮します。
• MentalT5：このモデルは、T5-largeの基礎モデルと完全なIMHI-completionデータに基づいて微調整されています。学習データは、10の精神健康分析タスクをカバーしています。このモデルは命令に従う能力を持たないが、より軽量で、完了ベースの方法で説明可能な精神健康分析において良好なパフォーマンスを発揮します。

💻 使用例

基本的な使用法

PythonプロジェクトでHugging Face Transformersライブラリを使用してMentaLLaMA-chat-7Bモデルを使用することができます。以下は、モデルをロードする簡単な例です。

from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-7B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-7B', device_map='auto')

この例では、LlamaTokenizerを使用してトークナイザーをロードし、LlamaForCausalLMを使用してモデルをロードしています。device_map='auto'引数は、GPUが利用可能な場合は自動的にGPUを使用するために使用されます。

📄 ライセンス

MentaLLaMA-chat-7Bは、MITライセンスの下で提供されています。詳細については、MITファイルを参照してください。

引用

あなたの研究でMentaLLaMA-chat-7Bを使用する場合は、以下の論文を引用してください。

@misc{yang2023mentalllama,
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models}, 
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
      year={2023},
      eprint={2309.13567},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}