Cubert 20210711 Python 1024

🚀 CuBERT：學習和評估源代碼的上下文嵌入

本項目旨在提供對源代碼上下文嵌入的學習和評估能力，基於CuBERT模型，能助力代碼理解、分析等相關任務，為代碼處理領域帶來新的解決方案。

🚀 快速開始

此模型是“CuBERT”的非官方HuggingFace版本。具體而言，該版本源自 gs://cubert/20210711_Python/pre_trained_model_epochs_2__length_1024。它於2021年7月11日在Python BigQuery數據集上進行了2個輪次的訓練，使用了1024個標記的上下文窗口。本人手動將Tensorflow檢查點轉換為PyTorch格式並上傳至此。分詞器 尚未完成轉換。所有功勞歸於Aditya Kanade、Petros Maniatis、Gogul Balakrishnan和Kensen Shi。

其他版本可在以下鏈接獲取：

• cubert-20210711-Python-512
• cubert-20210711-Python-1024
• cubert-20210711-Python-2048
• cubert-20210711-Java-512
• cubert-20210711-Java-1024
• cubert-20210711-Java-2048

📄 許可證

本項目採用Apache-2.0許可證。

📚 詳細文檔

引用

@inproceedings{cubert,
author    = {Aditya Kanade and
             Petros Maniatis and
             Gogul Balakrishnan and
             Kensen Shi},
title     = {Learning and evaluating contextual embedding of source code},
booktitle = {Proceedings of the 37th International Conference on Machine Learning,
               {ICML} 2020, 12-18 July 2020},
series    = {Proceedings of Machine Learning Research},
publisher = {{PMLR}},
year      = {2020},
}

信息表格