Cubert 20210711 Python 512

🚀 CuBERT：學習和評估源代碼的上下文嵌入

本項目的模型是“CuBERT”的非官方HuggingFace版本。該模型專注於學習和評估源代碼的上下文嵌入，為代碼分析和理解提供了有力支持。

🚀 快速開始

此模型是“CuBERT”的非官方HuggingFace版本。具體來說，這個版本來自 gs://cubert/20210711_Python/pre_trained_model_epochs_2__length_512。它於2021年7月11日在Python BigQuery數據集上進行了2個輪次的訓練，使用了512個標記的上下文窗口。我手動將Tensorflow檢查點轉換為PyTorch格式，並將其上傳到了這裡。分詞器 尚未進行轉換。所有功勞歸於Aditya Kanade、Petros Maniatis、Gogul Balakrishnan和Kensen Shi。

其他版本可在以下鏈接獲取：

• cubert-20210711-Python-512
• cubert-20210711-Python-1024
• cubert-20210711-Python-2048
• cubert-20210711-Java-512
• cubert-20210711-Java-1024
• cubert-20210711-Java-2048

📄 許可證

本項目採用Apache-2.0許可證。

📚 詳細文檔

引用信息

@inproceedings{cubert,
author    = {Aditya Kanade and
             Petros Maniatis and
             Gogul Balakrishnan and
             Kensen Shi},
title     = {Learning and evaluating contextual embedding of source code},
booktitle = {Proceedings of the 37th International Conference on Machine Learning,
               {ICML} 2020, 12-18 July 2020},
series    = {Proceedings of Machine Learning Research},
publisher = {{PMLR}},
year      = {2020},
}

模型信息