Nova 1.3b

🚀 Nova：用於彙編代碼的生成式語言模型

Nova是一款專門為彙編代碼設計的生成式大語言模型，它通過獨特的分層注意力機制和對比學習目標，有效克服了彙編代碼信息密度低和優化多樣的挑戰，在二進制代碼反編譯和相似度檢測等任務中表現出色。

🚀 快速開始

環境配置

你可以通過以下兩種方式配置運行環境：

使用conda環境

conda create -n nova python=3.10
conda activate nova
pip install -r requirements.txt

使用Docker鏡像

docker pull jiang719/nova
docker run --gpus all -it jiang719/nova

✨ 主要特性

解決彙編代碼分析難題

二進制代碼分析是安全領域關鍵任務的基礎，但彙編代碼具有信息密度低和優化多樣的獨特挑戰，現有大語言模型無法直接應用於彙編代碼分析。Nova提出分層注意力機制和對比學習目標，有效解決了這些問題。

性能卓越

在二進制代碼反編譯任務中，Nova的Pass@1和Pass@10指標比現有技術高出14.84 - 21.58%；在二進制代碼相似度檢測任務中，Recall@1指標比最新技術高出6.17%，在彙編生成和理解任務中展現出強大能力。

📚 詳細文檔

模型預訓練

Nova從DeepSeek - Coder檢查點開始，以語言建模為目標進行預訓練，使用了來自AnghaBench的反彙編代碼和從The - Stack編譯的C/C++程序。

模型系列

本倉庫是Nova基礎模型的代碼庫，該基礎模型有13億參數。該系列的其他模型如下：

• [Nova - 1.3b - bcr](https://huggingface.co/lt - asset/nova - 1.3b - bcr)：針對二進制代碼恢復進行進一步指令微調的Nova - 1.3b模型。
• [Nova - 6.7b](https://huggingface.co/lt - asset/nova - 6.7b)：具有67億參數的二進制代碼基礎模型。
• [Nova - 6.7b - bcr](https://huggingface.co/lt - asset/nova - 6.7b - bcr)：針對二進制代碼恢復進行進一步指令微調的Nova - 6.7b模型。

📄 許可證

本項目採用BSD 3 - 條款清晰許可證（BSD 3 - Clause Clear License）。

📚 引用

如果你在研究中使用了本項目，請引用以下文獻：

@misc{jiang2024nova,
      title={Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning}, 
      author={Nan Jiang and Chengxiao Wang and Kevin Liu and Xiangzhe Xu and Lin Tan and Xiangyu Zhang},
      year={2024},
      eprint={2311.13721},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2311.13721}, 
}