Mental Bert Base Uncased

🚀 MentalBERT

MentalBERT是一個專門針對心理健康領域的預訓練語言模型，它基於BERT-Base初始化，並使用從Reddit收集的心理健康相關帖子進行訓練。該模型有助於在在線社交內容中自動檢測心理健康問題，為非臨床應用提供支持。

🚀 快速開始

MentalBERT 是一個以BERT-Base (uncased_L-12_H-768_A-12) 初始化的模型，並使用從Reddit收集的心理健康相關帖子進行訓練。

我們遵循BERT和RoBERTa的標準預訓練協議，並使用 Huggingface的Transformers庫。

我們使用四塊Nvidia Tesla v100 GPU來訓練這兩個語言模型。我們將每個GPU的批量大小設置為16，每1000步進行一次評估，並進行624,000次迭代訓練。使用四塊GPU訓練大約需要八天時間。

更多針對心理健康領域的預訓練模型可在 https://huggingface.co/AIMH 找到。

💻 使用示例

基礎用法

通過 Huggingface的Transformers庫 加載模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("mental/mental-bert-base-uncased")
model = AutoModel.from_pretrained("mental/mental-bert-base-uncased")

為了儘量減少令人擔憂的掩碼預測的影響，此模型設置了訪問權限。要下載受保護的模型，你需要進行身份驗證。 瞭解更多關於 受保護模型 的信息。

📚 詳細文檔

如需更多詳細信息，請參考論文 MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare。

@inproceedings{ji2022mentalbert,
  title     = {{MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare}},
  author    = {Shaoxiong Ji and Tianlin Zhang and Luna Ansari and Jie Fu and Prayag Tiwari and Erik Cambria},
  year      = {2022},
  booktitle = {Proceedings of LREC}
}

🔧 技術細節

訓練設置

我們使用四塊Nvidia Tesla v100 GPU來訓練這兩個語言模型。將每個GPU的批量大小設置為16，每1000步進行一次評估，並進行624,000次迭代訓練。使用四塊GPU訓練大約需要八天時間。

數據隱私

數據隱私是一個重要問題，我們在使用社交帖子進行模型訓練時儘量減少隱私影響。在數據收集過程中，我們僅使用公開可見的匿名帖子。我們不會收集用戶資料，即使這些資料在網上也是公開的。我們沒有試圖識別匿名用戶或與任何匿名用戶進行互動。收集到的數據會通過密碼保護進行安全存儲，即使這些數據是從開放網絡收集的。

潛在問題

在數據收集和模型訓練過程中，可能還存在一些偏差、公平性、不確定性和可解釋性問題。對這些問題的評估在未來的研究中至關重要。

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。