Codesearch ModernBERT Owl 2.0 Plus

🚀 🦉 CodeSearch-ModernBERT-Owl-2.0-Plus

Shuu12121/CodeSearch-ModernBERT-Owl-2.0-Plus 是 CodeModernBERT-Owl 系列專為高質量代碼理解和語義檢索設計的最新預訓練模型。該模型應用於 VSCode 擴展 OwlSpotlight，可實現函數級別的語義代碼搜索。

✨ 主要特性

• 使用自有語料庫進行預訓練：使用完全自主收集的高質量代碼和文檔字符串語料庫進行預訓練，規模約為 CodeBERT (Feng et al., 2020) 的四倍。
• 支持 8 種編程語言：除了 Python、Java、JavaScript、PHP、Ruby、Go 和 Rust 之外，還新增了對 TypeScript 的支持。
• 支持長序列輸入：訓練時可處理最長 2048 個標記的序列，推理時可擴展到處理 8192 個標記。
• 全面的數據清洗和過濾：
  • 使用 Tree-sitter 提取函數和文檔字符串。
  • 去除模板化或非英語註釋。
  • 對 API 密鑰和敏感信息進行掩碼處理。
  • 排除與許可證相關的內容。
  • 進行去重處理，防止數據洩露。

📦 安裝指南

基本信息

🚀 快速開始

主應用場景

• 函數級語義代碼搜索：實現從自然語言到代碼的搜索。
• 代碼相關任務：可用於代碼補全、摘要生成、分類和克隆檢測等。
• RAG 系統檢索：為 RAG 系統提供檢索支持。

💻 使用示例

實際應用：OwlSpotlight

本模型集成於 OwlSpotlight VSCode 擴展中。你可以使用自然語言搜索 Python 代碼庫，並基於語義理解快速定位到相關函數。該擴展已在 macOS（包括 Apple Silicon）上進行測試和優化。