Mental Roberta Base

🚀 MentalRoBERTa

MentalRoBERTa是一個專門為心理健康領域設計的預訓練語言模型。它基於RoBERTa-Base初始化，並使用從Reddit收集的心理健康相關帖子進行訓練。該模型有助於在線社交內容中精神障礙的自動檢測，為非臨床應用提供支持。

🚀 快速開始

MentalRoBERTa 是一個以RoBERTa - Base (cased_L-12_H-768_A-12) 初始化的模型，並使用從Reddit收集的心理健康相關帖子進行訓練。

我們遵循BERT和RoBERTa的標準預訓練協議，藉助 Huggingface的Transformers庫 進行訓練。

我們使用四塊Nvidia Tesla v100 GPU來訓練這兩個語言模型。我們將每塊GPU的批量大小設置為16，每1000步進行一次評估，並進行624000次迭代訓練。使用四塊GPU訓練大約需要八天時間。

更多針對心理健康領域的預訓練模型可在 https://huggingface.co/AIMH 找到。

💻 使用示例

基礎用法

通過 Huggingface的Transformers庫 加載模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("mental/mental-roberta-base")
model = AutoModel.from_pretrained("mental/mental-roberta-base")

⚠️ 重要提示

為了儘量減少令人擔憂的掩碼預測的影響，此模型設置了訪問權限。要下載受保護的模型，你需要進行身份驗證。瞭解更多關於 受保護模型 的信息。

📚 詳細文檔

如需更多詳細信息，請參考論文 MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare。

@inproceedings{ji2022mentalbert,
  title     = {{MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare}},
  author    = {Shaoxiong Ji and Tianlin Zhang and Luna Ansari and Jie Fu and Prayag Tiwari and Erik Cambria},
  year      = {2022},
  booktitle = {Proceedings of LREC}
}

🔧 技術細節

我們訓練併發布用於心理健康的掩碼語言模型，以促進在線社交內容中精神障礙的自動檢測，供非臨床使用。 該模型可能有助於社會工作者發現需要早期預防的潛在個體。 然而，模型的預測結果並非精神科診斷。 我們建議任何有心理健康問題的人撥打當地的心理健康熱線，並在可能的情況下尋求專業幫助。

數據隱私是一個重要問題，我們在使用社交帖子進行模型訓練時儘量減少隱私影響。 在數據收集過程中，我們僅使用明顯向公眾開放的匿名帖子。 即使用戶資料在網上也是公開的，我們也不會收集。 我們沒有試圖識別匿名用戶或與任何匿名用戶進行互動。 即使收集的數據來自開放網絡，也會通過密碼保護安全存儲。 在數據收集和模型訓練過程中，可能還存在一些偏差、公平性、不確定性和可解釋性問題。 在未來的研究中，對這些問題的評估至關重要。

📄 許可證

本項目採用CC - BY - NC - 4.0許可證。