Codemodernbert Owl

🚀 🦉CodeModernBERT-Owl

🦉CodeModernBERT-Owlは、コード検索とコード理解のタスクに特化して設計された事前学習済みモデルです。以前のバージョンに比べ、Rustをサポートし、複数のプログラミング言語における検索精度を向上させています。

🚀 クイックスタート

このモデルは、Hugging Face Transformersライブラリを使用して簡単にロードすることができます。

⚠️ 重要提示

transformers >= 4.48.0が必要です。

🔗 Colab Demo (Replace with "CodeModernBERT-Owl")

モデルのロード

from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeModernBERT-Owl")
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeModernBERT-Owl")

コード埋め込みの取得

import torch
def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model.model(**inputs)
    embedding = outputs.last_hidden_state[:, 0, :]
    return embedding
embedding = get_embedding("def my_function(): pass", model, tokenizer)
print(embedding.shape)

✨ 主な機能

✅ 最大2048トークンの長いシーケンスをサポート (Microsoftの512トークンモデルと比較)
✅ コード検索、コード理解、コードクローン検出に最適化
✅ GitHubのオープンソースリポジトリ (Java, Rust) で微調整
✅ CodeHawks/CodeMorphシリーズの中で最高の精度を達成
✅ 多言語サポート: Python, PHP, Java, JavaScript, Go, Ruby, およびRust

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers>=4.48.0

📚 詳細ドキュメント

モデルパラメータ

評価結果

データセット

📌 候補プールサイズ100のcode_x_glue_ct_code_to_textでテスト
📌 Rust固有の評価は、Shuu12121/rust-codesearch-dataset-openを使用して実施

主要な評価指標の比較（同一シード値）

✅ すべての対象言語で最高の精度を達成
✅ 追加の微調整GitHubデータを使用して、Javaの精度を大幅に向上
✅ 以前のモデルを上回り、特にPHPとGoで優れた性能

Rust (独自データセット)

K別評価指標

別のおすすめモデル

1. CodeSearch-ModernBERT-Owl🦉 (https://huggingface.co/Shuu12121/CodeSearch-ModernBERT-Owl)

コードサーチに特化したモデルが必要な場合、このモデルは非常におすすめです。

2. CodeModernBERT-Snake🐍 (https://huggingface.co/Shuu12121/CodeModernBERT-Snake)

シーケンス長が長い、またはモデルサイズが小さい事前学習済みモデルが必要な場合は、このモデルが理想的です。

• 最大シーケンス長: 8192トークン
• 小さいモデルサイズ: ~75Mパラメータ

3. CodeSearch-ModernBERT-Snake🐍 (https://huggingface.co/Shuu12121/CodeSearch-ModernBERT-Snake)

コードサーチに特化しつつ長いシーケンスを処理できるモデルが欲しい場合には、このモデルが最適な選択です。

• 最大シーケンス長: 8192トークン
• 高いコード検索性能

🔧 技術詳細

このモデルは、コード検索とコード理解のタスクに特化して設計された事前学習済みモデルです。以前のバージョンに比べ、Rustをサポートし、複数のプログラミング言語における検索精度を向上させています。

📄 ライセンス

📄 Apache-2.0

📧 連絡先

📩 質問がある場合は、以下のメールアドレスにご連絡ください。
📧 shun0212114@outlook.jp