Mentallama Chat 13B

🚀 MentaLLaMA-chat-13B

MentaLLaMA-chat-13B是首個具備指令遵循能力、可用於可解釋心理健康分析的開源大語言模型（LLM）系列 MentaLLaMA 項目的一部分。該模型基於Meta的LLaMA2-chat-13B基礎模型和完整的IMHI指令調優數據進行微調。模型有望針對各種心理健康狀況進行復雜的心理健康分析，併為其每個預測提供可靠的解釋。它在包含75K條高質量自然語言指令的IMHI數據集上進行微調，以提升其在下游任務中的性能。

🚀 快速開始

MentaLLaMA-chat-13B是首個具備指令遵循能力、可用於可解釋心理健康分析的開源大語言模型（LLM）系列的一部分。該模型基於Meta的LLaMA2-chat-13B基礎模型和完整的IMHI指令調優數據進行微調。

✨ 主要特性

• 基於Meta的LLaMA2-chat-13B基礎模型和完整的IMHI指令調優數據進行微調。
• 有望針對各種心理健康狀況進行復雜的心理健康分析，併為其每個預測提供可靠的解釋。
• 在包含75K條高質量自然語言指令的IMHI數據集上進行微調，以提升其在下游任務中的性能。
• 在包含20K個測試樣本的IMHI基準測試中進行了全面評估，結果表明MentaLLaMA在正確性方面接近最先進的判別方法，並能生成高質量的解釋。

💻 使用示例

基礎用法

from transformers import LlamaTokenizer, LlamaForCausalLM
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-13B')
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-13B', device_map='auto')

在這個示例中，使用LlamaTokenizer加載分詞器，使用LlamaForCausalLM加載模型。device_map='auto'參數用於在可用時自動使用GPU。

📚 詳細文檔

倫理考量

儘管MentaLLaMA在可解釋心理健康分析方面的實驗顯示出了有前景的性能，但我們強調，所有預測結果和生成的解釋僅應用於非臨床研究，尋求幫助者應從專業精神科醫生或臨床從業者那裡獲得幫助。此外，最近的研究表明，大語言模型可能會引入一些潛在的偏差，如性別差距。同時，一些錯誤的預測結果、不恰當的解釋和過度概括也說明了當前大語言模型存在的潛在風險。因此，將該模型應用於實際場景的心理健康監測系統仍面臨許多挑戰。

MentaLLaMA中的其他模型

除了MentaLLaMA-chat-13B，MentaLLaMA項目還包括其他模型：MentaLLaMA-chat-7B、MentalBART和MentalT5。

• MentaLLaMA-chat-7B：該模型基於Meta的LLaMA2-chat-7B基礎模型和完整的IMHI指令調優數據進行微調。訓練數據涵蓋10個心理健康分析任務。
• MentalBART：該模型基於BART-large基礎模型和完整的IMHI完成數據進行微調。訓練數據涵蓋10個心理健康分析任務。該模型不具備指令遵循能力，但更輕量級，在基於完成的可解釋心理健康分析中表現良好。
• MentalT5：該模型基於T5-large基礎模型和完整的IMHI完成數據進行微調。訓練數據涵蓋10個心理健康分析任務。該模型不具備指令遵循能力，但更輕量級，在基於完成的可解釋心理健康分析中表現良好。

📄 許可證

MentaLLaMA-chat-13B採用MIT許可證。更多詳情請參閱MIT文件。

📚 引用

如果您在工作中使用了MentaLLaMA-chat-7B，請引用我們的論文：

@misc{yang2023mentalllama,
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models}, 
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},
      year={2023},
      eprint={2309.13567},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

所有預測結果和生成的解釋僅應用於非臨床研究，尋求幫助者應從專業精神科醫生或臨床從業者那裡獲得幫助。

💡 使用建議

在使用模型時，需注意大語言模型可能引入的潛在偏差，如性別差距等問題。同時，要警惕可能出現的錯誤預測結果、不恰當解釋和過度概括等情況。