Codebert Base

🚀 CodeBERT-base

CodeBERT是一個用於編程和自然語言的預訓練模型，本項目提供了它的預訓練權重。這些權重可助力開發者在代碼搜索、代碼補全、代碼文檔生成等諸多編程相關任務中取得更好的效果。

🚀 快速開始

若你想使用支持“代碼搜索”和“代碼到文檔生成”功能的腳本，請參考官方倉庫。

✨ 主要特性

• 多模態訓練：模型在CodeSearchNet的雙模態數據（文檔和代碼）上進行訓練，能更好地融合編程和自然語言信息。
• 特定目標訓練：該模型以Roberta-base為基礎進行初始化，並採用MLM + RTD目標進行訓練，提升了模型的性能。

📦 安裝指南

原文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

原文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

訓練數據

模型在CodeSearchNet的雙模態數據（文檔和代碼）上進行訓練。

訓練目標

此模型以Roberta-base進行初始化，並採用MLM + RTD目標進行訓練（詳見論文）。

🔧 技術細節

原文檔未提供具體的技術實現細節，故跳過此章節。

📄 許可證

原文檔未提及許可證信息，故跳過此章節。

📖 參考資料

1. 以Masked LM目標訓練的CodeBERT（適用於代碼補全）
2. 🤗 Hugging Face的CodeBERTa（小尺寸，6層）

📑 引用

@misc{feng2020codebert,
    title={CodeBERT: A Pre-Trained Model for Programming and Natural Languages},
    author={Zhangyin Feng and Daya Guo and Duyu Tang and Nan Duan and Xiaocheng Feng and Ming Gong and Linjun Shou and Bing Qin and Ting Liu and Daxin Jiang and Ming Zhou},
    year={2020},
    eprint={2002.08155},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}