Bert Tiny Uncased

🚀 BERT Tiny (uncased)

BERT Tiny (uncased) 是来自 https://arxiv.org/abs/1908.08962 的小型 BERT 模型，这些模型 Hugging Face 团队并未进行转换。这里使用了原始的 转换脚本。

你可以查看原始的 Google 仓库：google-research/bert

注意：目前尚不清楚这些检查点是否经过了知识蒸馏。

✨ 主要特性

模型变体

📚 详细文档

使用方法

你可以参考其他 BERT 模型卡片，例如：https://huggingface.co/bert-base-uncased

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用

如果你使用了该模型，请引用以下论文：

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}