Nova 6.7b

🚀 Nova: アセンブリコード用生成型言語モデル

バイナリコード解析はセキュリティ分野の重要なタスクの基礎です。本モデルはアセンブリコードの独特な課題を克服し、バイナリコードの解析や生成に役立ちます。

🚀 クイックスタート

バイナリコード解析はセキュリティ分野の重要なタスクの基礎であり、効果的なバイナリ解析技術の構築はこれまで以上に重要です。大規模言語モデル（LLM）はソースコードタスクに大きな改善をもたらしましたが、アセンブリの独特な課題（1）アセンブリの低情報密度と（2）アセンブリコードの多様な最適化により、アセンブリコードに直接適用できません。これらの課題を克服するために、本研究では階層的アテンションメカニズムを提案し、アテンションサマリーを構築してより効果的に意味を捉え、対照学習の目的を設計してLLMがアセンブリ最適化を学習するようにします。これらの技術を備えた本研究では、アセンブリコード用の生成型LLMであるNovaを開発しました。Novaはバイナリコードの逆コンパイルで既存技術をPass@1で最大14.84 - 21.58%、Pass@10で上回り、最新のバイナリコード類似性検出技術をRecall@1で最大6.17%上回り、アセンブリ生成と理解の両方のタスクで有望な能力を示しています。

✨ 主な機能

Novaの紹介

Novaは、DeepSeek - Coderのチェックポイントから言語モデリングの目的で事前学習されています。AnghaBench の逆アセンブリコードと The-Stack からコンパイルされたC/C++プログラムを使用しています。

これは67億パラメータのNovaの基礎モデルのリポジトリです。 このシリーズの他のモデル:

• Nova - 1.3b: 13億パラメータのバイナリコード用基礎モデル。
• Nova - 1.3b - bcr: バイナリコード復元のためにさらに命令微調整されたNova - 1.3bモデル。
• Nova - 6.7b - bcr: バイナリコード復元のためにさらに命令微調整されたNova - 6.7bモデル。

📦 インストール

condaを使用する場合

conda create -n nova python=3.10
conda activate nova
pip install -r requirements.txt

Dockerイメージを使用する場合

docker pull jiang719/nova
docker run --gpus all -it jiang719/nova

📄 ライセンス

このプロジェクトはBSD 3 - Clause Clearライセンスの下でライセンスされています。

📚 ドキュメント

引用

@misc{jiang2024nova,
      title={Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning}, 
      author={Nan Jiang and Chengxiao Wang and Kevin Liu and Xiangzhe Xu and Lin Tan and Xiangyu Zhang},
      year={2024},
      eprint={2311.13721},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2311.13721}, 
}