Codebert Base

🚀 CodeBERT-base

CodeBERT: A Pre-Trained Model for Programming and Natural Languagesの事前学習済み重みです。このモデルは、プログラミング言語と自然言語の両方に対応した事前学習モデルで、様々なコード関連のタスクに役立ちます。

🚀 クイックスタート

このセクションでは、CodeBERT-baseの基本的な使い方を説明します。具体的なスクリプトについては、公式リポジトリを参照してください。

✨ 主な機能

• コード検索やコードからドキュメント生成などのタスクに対応。
• プログラミング言語と自然言語の両方を扱うことができる事前学習モデル。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略します。

💻 使用例

具体的なコード例がREADMEに記載されていないため、このセクションは省略します。

📚 ドキュメント

訓練データ

このモデルは、CodeSearchNetの双モーダルデータ（ドキュメントとコード）を使用して訓練されています。

訓練目的

このモデルはRoberta-baseで初期化され、MLM+RTD目的で訓練されています（論文を参照）。

使い方

「コード検索」や「コードからドキュメント生成」をサポートするスクリプトについては、公式リポジトリを参照してください。

参考

1. Masked LM目的で訓練されたCodeBERT（コード補完に適しています）
2. 🤗 Hugging FaceのCodeBERTa（小型で6層）

🔧 技術詳細

具体的な技術詳細がREADMEに記載されていないため、このセクションは省略します。

📄 ライセンス

READMEにライセンス情報が記載されていないため、このセクションは省略します。

引用

@misc{feng2020codebert,
    title={CodeBERT: A Pre-Trained Model for Programming and Natural Languages},
    author={Zhangyin Feng and Daya Guo and Duyu Tang and Nan Duan and Xiaocheng Feng and Ming Gong and Linjun Shou and Bing Qin and Ting Liu and Daxin Jiang and Ming Zhou},
    year={2020},
    eprint={2002.08155},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}