Codemodernbert Owl

🚀 🦉CodeModernBERT-Owl

CodeModernBERT-Owl 是一個專門為代碼搜索和代碼理解任務從頭設計的預訓練模型。與之前的版本如 CodeHawks-ModernBERT 和 CodeMorph-ModernBERT 相比，該模型現在支持 Rust 語言，並提高了在 Python、PHP、Java、JavaScript、Go 和 Ruby 等語言中的搜索準確性。

🚀 快速開始

這個模型可以使用 Hugging Face Transformers 庫輕鬆加載。

⚠️ 重要提示

需要 transformers >= 4.48.0

🔗 Colab 演示（替換為 "CodeModernBERT-Owl"）

模型的加載

from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeModernBERT-Owl")
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeModernBERT-Owl")

獲取代碼嵌入

import torch
def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model.model(**inputs)
    embedding = outputs.last_hidden_state[:, 0, :]
    return embedding
embedding = get_embedding("def my_function(): pass", model, tokenizer)
print(embedding.shape)

✨ 主要特性

• ✅ 支持長達 2048 個標記的長序列（相比微軟 512 個標記的模型）
• ✅ 針對代碼搜索、代碼理解和代碼克隆檢測進行了優化
• ✅ 在 GitHub 開源倉庫（Java、Rust）上進行了微調
• ✅ 在 CodeHawks/CodeMorph 系列中實現了最高的準確性
• ✅ 多語言支持：Python、PHP、Java、JavaScript、Go、Ruby 和 Rust

📚 詳細文檔

模型參數

評估結果

數據集

• 📌 在 code_x_glue_ct_code_to_text 上進行測試，候選池大小為 100。
• 📌 使用 Shuu12121/rust-codesearch-dataset-open 進行特定於 Rust 的評估。

主要評估指標的比較（同一種子值）

• ✅ 在所有目標語言中實現了最高的準確性。
• ✅ 使用額外微調的 GitHub 數據顯著提高了 Java 的準確性。
• ✅ 優於之前的模型，特別是在 PHP 和 Go 語言中。

Rust (獨自數據集)

K 別評估指標

其他推薦模型

1. CodeSearch-ModernBERT-Owl🦉 (https://huggingface.co/Shuu12121/CodeSearch-ModernBERT-Owl)

如果您需要一個更專門用於代碼搜索的模型，強烈推薦此模型。

2. CodeModernBERT-Snake🐍 (https://huggingface.co/Shuu12121/CodeModernBERT-Snake)

如果您需要一個支持更長序列或更小模型大小的預訓練模型，這個模型是理想的選擇。

• 最大序列長度：8192 個標記
• 更小的模型大小：約 75M 參數

3. CodeSearch-ModernBERT-Snake🐍 (https://huggingface.co/Shuu12121/CodeSearch-ModernBERT-Snake)

對於那些想要一個結合了長序列長度和代碼搜索專業性的模型的人來說，這個模型是最佳選擇。

• 最大序列長度：8192 個標記
• 高代碼搜索性能

📝 結論

• ✅ 在所有語言中表現出色
• ✅ 通過數據集擴充成功添加了對 Rust 的支持
• ✅ 使用更好的數據集可能會進一步提高性能

📄 許可證

📄 Apache - 2.0

📧 聯繫方式

📩 如有任何問題，請聯繫：
📧 shun0212114@outlook.jp