Mentallama Chat 7B Hf

🚀 MentaLLaMA-chat-7B

MentaLLaMA-chat-7B 是首個具備指令遵循能力、可用於可解釋心理健康分析的開源大語言模型（LLM）系列 MentaLLaMA 項目的一部分。該模型基於 Meta LLaMA2-chat-7B 基礎模型和完整的 IMHI 指令調優數據進行微調，旨在針對各種心理健康狀況進行復雜的心理健康分析，併為每個預測結果提供可靠的解釋。

🚀 快速開始

MentaLLaMA-chat-7B 可藉助 Hugging Face Transformers 庫在 Python 項目中使用。以下是加載該模型的簡單示例：

from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-7B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-7B', device_map='auto')

在這個示例中，LlamaTokenizer 用於加載分詞器，LlamaForCausalLM 用於加載模型。device_map='auto' 參數可在可用時自動使用 GPU。

✨ 主要特性

• 可解釋的心理健康分析：能夠針對各種心理健康狀況進行復雜分析，併為預測結果提供可靠解釋。
• 指令遵循能力：基於完整的 IMHI 指令調優數據進行微調，具備良好的指令遵循能力。
• 高性能表現：在 IMHI 基準測試中，使用 20K 測試樣本進行了全面評估，結果顯示該模型在正確性方面接近最先進的判別方法，並能生成高質量的解釋。

📚 詳細文檔

模型概述

MentaLLaMA-chat-7B 基於 Meta LLaMA2-chat-7B 基礎模型，在 75K 高質量自然語言指令的 IMHI 數據集上進行微調，以提升其在下游任務中的性能。

倫理考量

儘管 MentaLLaMA 在可解釋心理健康分析方面表現出了有前景的性能，但我們強調，所有預測結果和生成的解釋僅應用於非臨床研究，尋求幫助者應從專業的精神科醫生或臨床從業者那裡獲得幫助。此外，近期研究表明大語言模型可能引入一些潛在偏差，如性別差距。同時，一些不正確的預測結果、不恰當的解釋和過度概括也說明了當前大語言模型存在潛在風險。因此，將該模型應用於實際場景的心理健康監測系統仍面臨諸多挑戰。

MentaLLaMA 中的其他模型

除了 MentaLLaMA-chat-7B，MentaLLaMA 項目還包括其他模型：

• MentaLLaMA-chat-13B：基於 Meta LLaMA2-chat-13B 基礎模型和完整的 IMHI 指令調優數據進行微調，訓練數據涵蓋 10 項心理健康分析任務。
• MentalBART：基於 BART-large 基礎模型和完整的 IMHI 補全數據進行微調，訓練數據涵蓋 10 項心理健康分析任務。該模型不具備指令遵循能力，但更輕量級，在基於補全的可解釋心理健康分析中表現良好。
• MentalT5：基於 T5-large 基礎模型和完整的 IMHI 補全數據進行微調，訓練數據涵蓋 10 項心理健康分析任務。該模型不具備指令遵循能力，但更輕量級，在基於補全的可解釋心理健康分析中表現良好。

📄 許可證

MentaLLaMA-chat-7B 採用 MIT 許可證。更多詳情請參閱 MIT 文件。

🔖 引用

如果您在工作中使用了 MentaLLaMA-chat-7B，請引用我們的論文：

@misc{yang2023mentalllama,
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models}, 
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
      year={2023},
      eprint={2309.13567},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}