Bert Mini

🚀 BERT-Mini (uncased)

このモデルは、google-research/bertによって公開された24の小型BERTモデルの1つです。これらのモデルは英語のみを対象とし、大文字小文字を区別せず、WordPieceマスキングを用いて学習されています。

これらのBERTモデルはTensorFlowチェックポイントとして公開されていますが、このモデルはPyTorchに変換されたバージョンです。詳細な情報はgoogle-research/bertまたはlyeoni/convert-tf-to-pytorchを参照してください。

📚 ドキュメント

評価

以下は、MPRCタスクに対する評価スコア（F1/Accuracy）です。

参考文献

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。