Bert Ascii Small

🚀 bert-ascii-small

bert-ascii-small是一個小尺寸的BERT語言模型，它以預測掩碼標記中字符的ASCII碼值之和作為預訓練目標進行預訓練。關於預訓練目標和預訓練超參數的更多細節，請參考預訓練目標如何影響大語言模型對語言屬性的學習？

📚 詳細文檔

bert-ascii-small以預測掩碼標記中字符的ASCII碼值之和為預訓練目標進行預訓練。若想了解預訓練目標和預訓練超參數的更多詳細信息，可查閱論文預訓練目標如何影響大語言模型對語言屬性的學習？

📄 許可證

CC BY 4.0

📚 引用

如果您使用了此模型，請引用以下論文：

@inproceedings{alajrami2022does,
  title={How does the pre-training objective affect what large language models learn about linguistic properties?},
  author={Alajrami, Ahmed and Aletras, Nikolaos},
  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)},
  pages={131--147},
  year={2022}
}