Mentallama Chat 7B

🚀 MentaLLaMA-chat-7B

MentaLLaMA-chat-7B 是首個具備指令跟隨能力、可用於可解釋心理健康分析的開源大語言模型（LLM）系列 MentaLLaMA 項目的一部分。該模型基於 Meta LLaMA2-chat-7B 基礎模型和完整的 IMHI 指令調優數據進行微調。它有望對各種心理健康狀況進行復雜的心理健康分析，併為每個預測提供可靠的解釋。

🚀 快速開始

你可以在 Python 項目中使用 Hugging Face Transformers 庫來使用 MentaLLaMA-chat-7B 模型。以下是加載該模型的簡單示例：

基礎用法

from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-7B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-7B', device_map='auto')

在這個示例中，LlamaTokenizer 用於加載分詞器，LlamaForCausalLM 用於加載模型。device_map='auto' 參數用於在可用時自動使用 GPU。

✨ 主要特性

• 可解釋的心理健康分析：MentaLLaMA-chat-7B 能夠對各種心理健康狀況進行復雜的分析，併為每個預測提供可靠的解釋。
• 基於大規模數據微調：該模型在包含 75K 高質量自然語言指令的 IMHI 數據集上進行微調，以提升其在下游任務中的性能。
• 接近最優性能：在包含 20K 測試樣本的 IMHI 基準測試中進行了全面評估，結果表明 MentaLLaMA 在正確性方面接近最先進的判別方法，並能生成高質量的解釋。

📚 詳細文檔

模型介紹

MentaLLaMA-chat-7B 是 MentaLLaMA 項目的一部分，該項目旨在開發可用於可解釋心理健康分析的開源大語言模型。此模型基於 Meta LLaMA2-chat-7B 基礎模型和完整的 IMHI 指令調優數據進行微調。

倫理考量

儘管 MentaLLaMA 在可解釋心理健康分析方面的實驗顯示出了有前景的性能，但我們強調，所有預測結果和生成的解釋僅應用於非臨床研究，尋求幫助者應從專業精神科醫生或臨床從業者那裡獲得幫助。此外，近期研究表明大語言模型可能會引入一些潛在的偏差，如性別差距。同時，一些不正確的預測結果、不恰當的解釋和過度概括也說明了當前大語言模型存在潛在風險。因此，將該模型應用於實際場景的心理健康監測系統仍面臨許多挑戰。

MentaLLaMA 中的其他模型

除了 MentaLLaMA-chat-7B，MentaLLaMA 項目還包括其他模型：MentaLLaMA-chat-13B、MentalBART 和 MentalT5。

• MentaLLaMA-chat-13B：該模型基於 Meta LLaMA2-chat-13B 基礎模型和完整的 IMHI 指令調優數據進行微調。訓練數據涵蓋 10 項心理健康分析任務。
• MentalBART：該模型基於 BART-large 基礎模型和完整的 IMHI 補全數據進行微調。訓練數據涵蓋 10 項心理健康分析任務。此模型不具備指令跟隨能力，但更輕量級，以補全方式在可解釋心理健康分析方面表現良好。
• MentalT5：該模型基於 T5-large 基礎模型和完整的 IMHI 補全數據進行微調。訓練數據涵蓋 10 項心理健康分析任務。此模型不具備指令跟隨能力，但更輕量級，以補全方式在可解釋心理健康分析方面表現良好。

📄 許可證

MentaLLaMA-chat-7B 採用 MIT 許可證。更多詳情請參閱 MIT 文件。

📚 引用

如果您在工作中使用了 MentaLLaMA-chat-7B，請引用我們的論文：

@misc{yang2023mentalllama,
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models}, 
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
      year={2023},
      eprint={2309.13567},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

所有預測結果和生成的解釋僅應用於非臨床研究，尋求幫助者應從專業精神科醫生或臨床從業者那裡獲得幫助。大語言模型可能會引入一些潛在的偏差，如性別差距，同時也存在一些不正確的預測結果、不恰當的解釋和過度概括等潛在風險。