Bert Tiny Uncased

🚀 BERT Tiny (uncased)

このモデルは、https://arxiv.org/abs/1908.08962 で提案されたMini BERTモデルで、Hugging Faceチームによって変換されていないものです。元の変換スクリプトが使用されています。

元のGoogleのリポジトリを参照してください: google-research/bert

注意: これらのチェックポイントが知識蒸留を経ているかどうかは不明です。

✨ 主な機能

モデルのバリエーション

💻 使用例

他のBERTモデルのカードを参照してください。例えば、https://huggingface.co/bert-base-uncased

📚 詳細ドキュメント

引用

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。