Bert Mlm Medium

🚀 bert-mlm-medium

bert-mlm-medium是一箇中等規模的BERT語言模型，採用MLM（掩碼語言模型）作為預訓練目標。關於預訓練目標和預訓練超參數的更多細節，請參考預訓練目標如何影響大語言模型對語言屬性的學習？

🚀 快速開始

本模型為中等規模的BERT語言模型，以MLM為預訓練目標，可用於自然語言處理相關的任務。若需瞭解更多預訓練目標和超參數細節，可查閱上述論文。

✨ 主要特性

• 採用中等規模架構，在性能和資源消耗之間取得平衡。
• 以MLM作為預訓練目標，有助於模型學習語言的語義信息。

📄 許可證

本模型採用CC BY 4.0許可證。

📚 詳細文檔

引用說明

如果您使用了此模型，請引用以下論文：

@inproceedings{alajrami2022does,
  title={How does the pre-training objective affect what large language models learn about linguistic properties?},
  author={Alajrami, Ahmed and Aletras, Nikolaos},
  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)},
  pages={131--147},
  year={2022}
}