Nova 1.3b

🚀 Nova：用于汇编代码的生成式语言模型

Nova是一款专门为汇编代码设计的生成式大语言模型，它通过独特的分层注意力机制和对比学习目标，有效克服了汇编代码信息密度低和优化多样的挑战，在二进制代码反编译和相似度检测等任务中表现出色。

🚀 快速开始

环境配置

你可以通过以下两种方式配置运行环境：

使用conda环境

conda create -n nova python=3.10
conda activate nova
pip install -r requirements.txt

使用Docker镜像

docker pull jiang719/nova
docker run --gpus all -it jiang719/nova

✨ 主要特性

解决汇编代码分析难题

二进制代码分析是安全领域关键任务的基础，但汇编代码具有信息密度低和优化多样的独特挑战，现有大语言模型无法直接应用于汇编代码分析。Nova提出分层注意力机制和对比学习目标，有效解决了这些问题。

性能卓越

在二进制代码反编译任务中，Nova的Pass@1和Pass@10指标比现有技术高出14.84 - 21.58%；在二进制代码相似度检测任务中，Recall@1指标比最新技术高出6.17%，在汇编生成和理解任务中展现出强大能力。

📚 详细文档

模型预训练

Nova从DeepSeek - Coder检查点开始，以语言建模为目标进行预训练，使用了来自AnghaBench的反汇编代码和从The - Stack编译的C/C++程序。

模型系列

本仓库是Nova基础模型的代码库，该基础模型有13亿参数。该系列的其他模型如下：

• [Nova - 1.3b - bcr](https://huggingface.co/lt - asset/nova - 1.3b - bcr)：针对二进制代码恢复进行进一步指令微调的Nova - 1.3b模型。
• [Nova - 6.7b](https://huggingface.co/lt - asset/nova - 6.7b)：具有67亿参数的二进制代码基础模型。
• [Nova - 6.7b - bcr](https://huggingface.co/lt - asset/nova - 6.7b - bcr)：针对二进制代码恢复进行进一步指令微调的Nova - 6.7b模型。

📄 许可证

本项目采用BSD 3 - 条款清晰许可证（BSD 3 - Clause Clear License）。

📚 引用

如果你在研究中使用了本项目，请引用以下文献：

@misc{jiang2024nova,
      title={Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning}, 
      author={Nan Jiang and Chengxiao Wang and Kevin Liu and Xiangzhe Xu and Lin Tan and Xiangyu Zhang},
      year={2024},
      eprint={2311.13721},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2311.13721}, 
}