Bert Ascii Small

🚀 bert-ascii-small

このモデルは、マスクされたトークン内の文字のASCIIコード値の合計を予測することを事前学習目的として事前学習された、小規模なBERT言語モデルです。事前学習目的と事前学習ハイパーパラメータの詳細については、How does the pre-training objective affect what large language models learn about linguistic properties?を参照してください。

🚀 クイックスタート

このモデルは、マスクされたトークン内の文字のASCIIコード値の合計を予測することを事前学習目的として事前学習されています。詳細については、上記の論文を参照してください。

📄 ライセンス

CC BY 4.0

📚 ドキュメント

引用

このモデルを使用する場合は、以下の論文を引用してください。

@inproceedings{alajrami2022does,
  title={How does the pre-training objective affect what large language models learn about linguistic properties?},
  author={Alajrami, Ahmed and Aletras, Nikolaos},
  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)},
  pages={131--147},
  year={2022}
}