🚀 MentaLLaMA-chat-13B
MentaLLaMA-chat-13B是首个具备指令遵循能力、可用于可解释心理健康分析的开源大语言模型(LLM)系列 MentaLLaMA 项目的一部分。该模型基于Meta的LLaMA2-chat-13B基础模型和完整的IMHI指令调优数据进行微调。模型有望针对各种心理健康状况进行复杂的心理健康分析,并为其每个预测提供可靠的解释。它在包含75K条高质量自然语言指令的IMHI数据集上进行微调,以提升其在下游任务中的性能。
🚀 快速开始
MentaLLaMA-chat-13B是首个具备指令遵循能力、可用于可解释心理健康分析的开源大语言模型(LLM)系列的一部分。该模型基于Meta的LLaMA2-chat-13B基础模型和完整的IMHI指令调优数据进行微调。
✨ 主要特性
- 基于Meta的LLaMA2-chat-13B基础模型和完整的IMHI指令调优数据进行微调。
- 有望针对各种心理健康状况进行复杂的心理健康分析,并为其每个预测提供可靠的解释。
- 在包含75K条高质量自然语言指令的IMHI数据集上进行微调,以提升其在下游任务中的性能。
- 在包含20K个测试样本的IMHI基准测试中进行了全面评估,结果表明MentaLLaMA在正确性方面接近最先进的判别方法,并能生成高质量的解释。
💻 使用示例
基础用法
from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-13B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-13B', device_map='auto')
在这个示例中,使用LlamaTokenizer
加载分词器,使用LlamaForCausalLM
加载模型。device_map='auto'
参数用于在可用时自动使用GPU。
📚 详细文档
伦理考量
尽管MentaLLaMA在可解释心理健康分析方面的实验显示出了有前景的性能,但我们强调,所有预测结果和生成的解释仅应用于非临床研究,寻求帮助者应从专业精神科医生或临床从业者那里获得帮助。此外,最近的研究表明,大语言模型可能会引入一些潜在的偏差,如性别差距。同时,一些错误的预测结果、不恰当的解释和过度概括也说明了当前大语言模型存在的潜在风险。因此,将该模型应用于实际场景的心理健康监测系统仍面临许多挑战。
MentaLLaMA中的其他模型
除了MentaLLaMA-chat-13B,MentaLLaMA项目还包括其他模型:MentaLLaMA-chat-7B、MentalBART和MentalT5。
- MentaLLaMA-chat-7B:该模型基于Meta的LLaMA2-chat-7B基础模型和完整的IMHI指令调优数据进行微调。训练数据涵盖10个心理健康分析任务。
- MentalBART:该模型基于BART-large基础模型和完整的IMHI完成数据进行微调。训练数据涵盖10个心理健康分析任务。该模型不具备指令遵循能力,但更轻量级,在基于完成的可解释心理健康分析中表现良好。
- MentalT5:该模型基于T5-large基础模型和完整的IMHI完成数据进行微调。训练数据涵盖10个心理健康分析任务。该模型不具备指令遵循能力,但更轻量级,在基于完成的可解释心理健康分析中表现良好。
📄 许可证
MentaLLaMA-chat-13B采用MIT许可证。更多详情请参阅MIT文件。
📚 引用
如果您在工作中使用了MentaLLaMA-chat-7B,请引用我们的论文:
@misc{yang2023mentalllama,
title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models},
author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
year={2023},
eprint={2309.13567},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
⚠️ 重要提示
所有预测结果和生成的解释仅应用于非临床研究,寻求帮助者应从专业精神科医生或临床从业者那里获得帮助。
💡 使用建议
在使用模型时,需注意大语言模型可能引入的潜在偏差,如性别差距等问题。同时,要警惕可能出现的错误预测结果、不恰当解释和过度概括等情况。