Mentallama Chat 7B

🚀 MentaLLaMA-chat-7B

MentaLLaMA-chat-7B 是首个具备指令跟随能力、可用于可解释心理健康分析的开源大语言模型（LLM）系列 MentaLLaMA 项目的一部分。该模型基于 Meta LLaMA2-chat-7B 基础模型和完整的 IMHI 指令调优数据进行微调。它有望对各种心理健康状况进行复杂的心理健康分析，并为每个预测提供可靠的解释。

🚀 快速开始

你可以在 Python 项目中使用 Hugging Face Transformers 库来使用 MentaLLaMA-chat-7B 模型。以下是加载该模型的简单示例：

基础用法

from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-7B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-7B', device_map='auto')

在这个示例中，LlamaTokenizer 用于加载分词器，LlamaForCausalLM 用于加载模型。device_map='auto' 参数用于在可用时自动使用 GPU。

✨ 主要特性

• 可解释的心理健康分析：MentaLLaMA-chat-7B 能够对各种心理健康状况进行复杂的分析，并为每个预测提供可靠的解释。
• 基于大规模数据微调：该模型在包含 75K 高质量自然语言指令的 IMHI 数据集上进行微调，以提升其在下游任务中的性能。
• 接近最优性能：在包含 20K 测试样本的 IMHI 基准测试中进行了全面评估，结果表明 MentaLLaMA 在正确性方面接近最先进的判别方法，并能生成高质量的解释。

📚 详细文档

模型介绍

MentaLLaMA-chat-7B 是 MentaLLaMA 项目的一部分，该项目旨在开发可用于可解释心理健康分析的开源大语言模型。此模型基于 Meta LLaMA2-chat-7B 基础模型和完整的 IMHI 指令调优数据进行微调。

伦理考量

尽管 MentaLLaMA 在可解释心理健康分析方面的实验显示出了有前景的性能，但我们强调，所有预测结果和生成的解释仅应用于非临床研究，寻求帮助者应从专业精神科医生或临床从业者那里获得帮助。此外，近期研究表明大语言模型可能会引入一些潜在的偏差，如性别差距。同时，一些不正确的预测结果、不恰当的解释和过度概括也说明了当前大语言模型存在潜在风险。因此，将该模型应用于实际场景的心理健康监测系统仍面临许多挑战。

MentaLLaMA 中的其他模型

除了 MentaLLaMA-chat-7B，MentaLLaMA 项目还包括其他模型：MentaLLaMA-chat-13B、MentalBART 和 MentalT5。

• MentaLLaMA-chat-13B：该模型基于 Meta LLaMA2-chat-13B 基础模型和完整的 IMHI 指令调优数据进行微调。训练数据涵盖 10 项心理健康分析任务。
• MentalBART：该模型基于 BART-large 基础模型和完整的 IMHI 补全数据进行微调。训练数据涵盖 10 项心理健康分析任务。此模型不具备指令跟随能力，但更轻量级，以补全方式在可解释心理健康分析方面表现良好。
• MentalT5：该模型基于 T5-large 基础模型和完整的 IMHI 补全数据进行微调。训练数据涵盖 10 项心理健康分析任务。此模型不具备指令跟随能力，但更轻量级，以补全方式在可解释心理健康分析方面表现良好。

📄 许可证

MentaLLaMA-chat-7B 采用 MIT 许可证。更多详情请参阅 MIT 文件。

📚 引用

如果您在工作中使用了 MentaLLaMA-chat-7B，请引用我们的论文：

@misc{yang2023mentalllama,
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models}, 
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
      year={2023},
      eprint={2309.13567},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

所有预测结果和生成的解释仅应用于非临床研究，寻求帮助者应从专业精神科医生或临床从业者那里获得帮助。大语言模型可能会引入一些潜在的偏差，如性别差距，同时也存在一些不正确的预测结果、不恰当的解释和过度概括等潜在风险。