Codemorph ModernBERT

🚀 CodeMorph-ModernBERT

CodeMorph-ModernBERT 是一個專門為代碼搜索和代碼理解任務從頭開始訓練的預訓練模型。該模型利用 code-search-net/code_search_net 數據集進行訓練，以增強對代碼的語義理解。它支持 最大 2048 個標記的序列長度（相比之下，傳統的 Microsoft 模型僅支持 512 個標記），尤其在 Python 代碼搜索中表現出色。

🚀 快速開始

你可以使用 Hugging Face Transformers 庫輕鬆加載本模型。（※ Transformers 的版本需為 4.48.0 及以上）

• 點擊此處查看簡單的使用示例

模型加載

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeMorph-ModernBERT")
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeMorph-ModernBERT")

掩碼填充 (fill-mask)

from transformers import pipeline

fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
print(fill_mask("def add_numbers(a, b): return a + [MASK]"))

獲取代碼嵌入

import torch

def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model.model(**inputs)
    embedding = outputs.last_hidden_state[:, 0, :]
    return embedding

embedding = get_embedding("def my_function(): pass", model, tokenizer)
print(embedding.shape)

✨ 主要特性

• 支持長序列
  能夠處理最長 2048 個標記的序列，適用於長代碼和複雜函數。

• 高代碼搜索性能
  採用基於六種編程語言訓練的 Sentencepiece 分詞器，實現了比以往模型顯著更高的搜索精度。

• 專門訓練的模型
  使用 CodeSearchNet 數據集從頭開始訓練，能夠深入理解編程語法和註釋。

📦 安裝指南

文檔未提及安裝相關內容，可參考快速開始部分使用模型。

💻 使用示例

基礎用法

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeMorph-ModernBERT")
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeMorph-ModernBERT")

高級用法

from transformers import pipeline

fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
print(fill_mask("def add_numbers(a, b): return a + [MASK]"))

import torch

def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model.model(**inputs)
    embedding = outputs.last_hidden_state[:, 0, :]
    return embedding

embedding = get_embedding("def my_function(): pass", model, tokenizer)
print(embedding.shape)

📚 詳細文檔

模型參數

模型設計使用了以下參數：

數據集

本模型使用 code-search-net/code_search_net 數據集進行訓練。該數據集包含多種編程語言（如 Python、Java、JavaScript 等）的代碼片段，非常適合代碼搜索任務。

評估結果

本模型使用 code_x_glue_ct_code_to_text 數據集的 Python 部分進行評估。以下是主要的評估指標：

點擊此處查看實驗詳情

與其他模型的比較

以下是 CodeMorph-ModernBERT 與其他主要代碼搜索模型的比較結果：

Code Search 模型評估結果 (google/code_x_glue_tc_nl_code_search_adv 數據集測試)

以下是使用 google/code_x_glue_tc_nl_code_search_adv 數據集（測試集）對各種 Code Search 模型的評估結果總結。所有評估的候選池大小均為 100。 點擊此處查看額外實驗代碼

與其他 CodeBERT 和 CodeT5 模型相比，CodeMorph-ModernBERT 實現了更高的搜索精度。

多語言評估結果

CodeMorph-ModernBERT 在多種編程語言中均表現出較高的代碼搜索性能。以下是每種語言的主要評估指標（MRR、MAP、R-Precision）概要： 點擊此處查看實驗筆記本

此外，Salesforce/codet5p-220m-bimodal 在整體上的搜索精度高於 CodeMorph-ModernBERT：

然而，在另一個數據集 google/code_x_glue_tc_nl_code_search_adv（測試集）上，CodeMorph-ModernBERT 的得分更高：

這表明 CodeMorph-ModernBERT 在 更具挑戰性的任務和 Python 泛化方面 可能更具優勢。

🔧 技術細節

文檔未提供詳細技術實現細節。

📄 許可證

本模型在 Apache-2.0 許可證下發布。

💡 使用建議

• 確保使用的 Transformers 庫版本為 4.48.0 及以上，以保證模型正常加載和使用。
• 在進行代碼嵌入獲取時，可根據實際情況調整 max_length 參數，以平衡性能和準確性。

📞 聯繫方式

如果您對本模型有任何疑問，請發送郵件至 shun0212114@outlook.jp。