Mental Bert Base Uncased

🚀 MentalBERT

MentalBERT是一个专门针对心理健康领域的预训练语言模型，它基于BERT-Base初始化，并使用从Reddit收集的心理健康相关帖子进行训练。该模型有助于在在线社交内容中自动检测心理健康问题，为非临床应用提供支持。

🚀 快速开始

MentalBERT 是一个以BERT-Base (uncased_L-12_H-768_A-12) 初始化的模型，并使用从Reddit收集的心理健康相关帖子进行训练。

我们遵循BERT和RoBERTa的标准预训练协议，并使用 Huggingface的Transformers库。

我们使用四块Nvidia Tesla v100 GPU来训练这两个语言模型。我们将每个GPU的批量大小设置为16，每1000步进行一次评估，并进行624,000次迭代训练。使用四块GPU训练大约需要八天时间。

更多针对心理健康领域的预训练模型可在 https://huggingface.co/AIMH 找到。

💻 使用示例

基础用法

通过 Huggingface的Transformers库 加载模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("mental/mental-bert-base-uncased")
model = AutoModel.from_pretrained("mental/mental-bert-base-uncased")

为了尽量减少令人担忧的掩码预测的影响，此模型设置了访问权限。要下载受保护的模型，你需要进行身份验证。 了解更多关于 受保护模型 的信息。

📚 详细文档

如需更多详细信息，请参考论文 MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare。

@inproceedings{ji2022mentalbert,
  title     = {{MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare}},
  author    = {Shaoxiong Ji and Tianlin Zhang and Luna Ansari and Jie Fu and Prayag Tiwari and Erik Cambria},
  year      = {2022},
  booktitle = {Proceedings of LREC}
}

🔧 技术细节

训练设置

我们使用四块Nvidia Tesla v100 GPU来训练这两个语言模型。将每个GPU的批量大小设置为16，每1000步进行一次评估，并进行624,000次迭代训练。使用四块GPU训练大约需要八天时间。

数据隐私

数据隐私是一个重要问题，我们在使用社交帖子进行模型训练时尽量减少隐私影响。在数据收集过程中，我们仅使用公开可见的匿名帖子。我们不会收集用户资料，即使这些资料在网上也是公开的。我们没有试图识别匿名用户或与任何匿名用户进行互动。收集到的数据会通过密码保护进行安全存储，即使这些数据是从开放网络收集的。

潜在问题

在数据收集和模型训练过程中，可能还存在一些偏差、公平性、不确定性和可解释性问题。对这些问题的评估在未来的研究中至关重要。

📄 许可证

本项目采用 CC BY-NC 4.0 许可证。