Bert Tiny Uncased

🚀 BERT Tiny (uncased)

BERT Tiny (uncased) 是來自 https://arxiv.org/abs/1908.08962 的小型 BERT 模型，這些模型 Hugging Face 團隊並未進行轉換。這裡使用了原始的 轉換腳本。

你可以查看原始的 Google 倉庫：google-research/bert

注意：目前尚不清楚這些檢查點是否經過了知識蒸餾。

✨ 主要特性

模型變體

📚 詳細文檔

使用方法

你可以參考其他 BERT 模型卡片，例如：https://huggingface.co/bert-base-uncased

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

如果你使用了該模型，請引用以下論文：

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}