Cubert 20210711 Python 1024

🚀 CuBERT: ソースコードのコンテキスト埋め込みの学習と評価

このモデルは、"CuBERT" の非公式なHuggingFaceバージョンです。具体的には、このバージョンは gs://cubert/20210711_Python/pre_trained_model_epochs_2__length_1024 から取得されました。2021年7月11日に、Python BigQueryデータセットを使って、1024トークンのコンテキストウィンドウで2エポックの訓練を行いました。Tensorflowのチェックポイントを手動でPyTorchに変換し、ここにアップロードしました。トークナイザー はまだ変換されていません。すべての功績はAditya Kanade、Petros Maniatis、Gogul Balakrishnan、およびKensen Shiに帰属します。

他のバージョンは以下の場所で入手できます:

cubert-20210711-Python-512

cubert-20210711-Python-1024

cubert-20210711-Python-2048

cubert-20210711-Java-512

cubert-20210711-Java-1024

cubert-20210711-Java-2048

引用:

@inproceedings{cubert,
author    = {Aditya Kanade and
             Petros Maniatis and
             Gogul Balakrishnan and
             Kensen Shi},
title     = {Learning and evaluating contextual embedding of source code},
booktitle = {Proceedings of the 37th International Conference on Machine Learning,
               {ICML} 2020, 12-18 July 2020},
series    = {Proceedings of Machine Learning Research},
publisher = {{PMLR}},
year      = {2020},
}

🚀 クイックスタート

このセクションでは、CuBERTモデルについての概要を説明します。このモデルはソースコードのコンテキスト埋め込みを学習し評価するために開発されました。

📚 ドキュメント

概要

このモデルは、"CuBERT" の非公式なHuggingFaceバージョンです。具体的には、このバージョンは gs://cubert/20210711_Python/pre_trained_model_epochs_2__length_1024 から取得されました。2021年7月11日に、Python BigQueryデータセットを使って、1024トークンのコンテキストウィンドウで2エポックの訓練を行いました。Tensorflowのチェックポイントを手動でPyTorchに変換し、ここにアップロードしました。トークナイザー はまだ変換されていません。すべての功績はAditya Kanade、Petros Maniatis、Gogul Balakrishnan、およびKensen Shiに帰属します。

他のバージョン

他のバージョンは以下の場所で入手できます:

• cubert-20210711-Python-512
• cubert-20210711-Python-1024
• cubert-20210711-Python-2048
• cubert-20210711-Java-512
• cubert-20210711-Java-1024
• cubert-20210711-Java-2048

引用

@inproceedings{cubert,
author    = {Aditya Kanade and
             Petros Maniatis and
             Gogul Balakrishnan and
             Kensen Shi},
title     = {Learning and evaluating contextual embedding of source code},
booktitle = {Proceedings of the 37th International Conference on Machine Learning,
               {ICML} 2020, 12-18 July 2020},
series    = {Proceedings of Machine Learning Research},
publisher = {{PMLR}},
year      = {2020},
}

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。