Cubert 20210711 Python 512

🚀 CuBERT: ソースコードの文脈的埋め込みの学習と評価

このモデルは、公式ではないHuggingFace版の"CuBERT"です。具体的には、このバージョンはgs://cubert/20210711_Python/pre_trained_model_epochs_2__length_512に由来します。2021年7月11日に、Python BigQueryデータセットを使用して、512トークンのコンテキストウィンドウで2エポックの訓練を行いました。私が手動でTensorflowのチェックポイントをPyTorchに変換し、ここにアップロードしました。トークナイザーはまだ変換されていません。すべての功績はAditya Kanade、Petros Maniatis、Gogul Balakrishnan、およびKensen Shiに帰属します。

他のバージョンは以下の場所で利用可能です:

cubert-20210711-Python-512

cubert-20210711-Python-1024

cubert-20210711-Python-2048

cubert-20210711-Java-512

cubert-20210711-Java-1024

cubert-20210711-Java-2048

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

@inproceedings{cubert,
author    = {Aditya Kanade and
             Petros Maniatis and
             Gogul Balakrishnan and
             Kensen Shi},
title     = {Learning and evaluating contextual embedding of source code},
booktitle = {Proceedings of the 37th International Conference on Machine Learning,
               {ICML} 2020, 12-18 July 2020},
series    = {Proceedings of Machine Learning Research},
publisher = {{PMLR}},
year      = {2020},
}

情報テーブル

| 属性 | 详情 |
|------|------|
| パイプラインタグ | マスク埋め込み |
| タグ | コード、CuBERT |
| 論文 | [CuBERT: Learning and Evaluating Contextual Embedding of Source Code](https://arxiv.org/abs/2001.00059) |
| ライセンス | Apache-2.0 |