Codesearch ModernBERT Owl 2.0 Plus

🚀 🦉 CodeSearch-ModernBERT-Owl-2.0-Plus

Shuu12121/CodeSearch-ModernBERT-Owl-2.0-Plus 是 CodeModernBERT-Owl 系列专为高质量代码理解和语义检索设计的最新预训练模型。该模型应用于 VSCode 扩展 OwlSpotlight，可实现函数级别的语义代码搜索。

✨ 主要特性

• 使用自有语料库进行预训练：使用完全自主收集的高质量代码和文档字符串语料库进行预训练，规模约为 CodeBERT (Feng et al., 2020) 的四倍。
• 支持 8 种编程语言：除了 Python、Java、JavaScript、PHP、Ruby、Go 和 Rust 之外，还新增了对 TypeScript 的支持。
• 支持长序列输入：训练时可处理最长 2048 个标记的序列，推理时可扩展到处理 8192 个标记。
• 全面的数据清洗和过滤：
  • 使用 Tree-sitter 提取函数和文档字符串。
  • 去除模板化或非英语注释。
  • 对 API 密钥和敏感信息进行掩码处理。
  • 排除与许可证相关的内容。
  • 进行去重处理，防止数据泄露。

📦 安装指南

基本信息

🚀 快速开始

主应用场景

• 函数级语义代码搜索：实现从自然语言到代码的搜索。
• 代码相关任务：可用于代码补全、摘要生成、分类和克隆检测等。
• RAG 系统检索：为 RAG 系统提供检索支持。

💻 使用示例

实际应用：OwlSpotlight

本模型集成于 OwlSpotlight VSCode 扩展中。你可以使用自然语言搜索 Python 代码库，并基于语义理解快速定位到相关函数。该扩展已在 macOS（包括 Apple Silicon）上进行测试和优化。