Cubert 20210711 Python 512

🚀 CuBERT：学习和评估源代码的上下文嵌入

本项目的模型是“CuBERT”的非官方HuggingFace版本。该模型专注于学习和评估源代码的上下文嵌入，为代码分析和理解提供了有力支持。

🚀 快速开始

此模型是“CuBERT”的非官方HuggingFace版本。具体来说，这个版本来自 gs://cubert/20210711_Python/pre_trained_model_epochs_2__length_512。它于2021年7月11日在Python BigQuery数据集上进行了2个轮次的训练，使用了512个标记的上下文窗口。我手动将Tensorflow检查点转换为PyTorch格式，并将其上传到了这里。分词器 尚未进行转换。所有功劳归于Aditya Kanade、Petros Maniatis、Gogul Balakrishnan和Kensen Shi。

其他版本可在以下链接获取：

• cubert-20210711-Python-512
• cubert-20210711-Python-1024
• cubert-20210711-Python-2048
• cubert-20210711-Java-512
• cubert-20210711-Java-1024
• cubert-20210711-Java-2048

📄 许可证

本项目采用Apache-2.0许可证。

📚 详细文档

引用信息

@inproceedings{cubert,
author    = {Aditya Kanade and
             Petros Maniatis and
             Gogul Balakrishnan and
             Kensen Shi},
title     = {Learning and evaluating contextual embedding of source code},
booktitle = {Proceedings of the 37th International Conference on Machine Learning,
               {ICML} 2020, 12-18 July 2020},
series    = {Proceedings of Machine Learning Research},
publisher = {{PMLR}},
year      = {2020},
}

模型信息