Nova 1.3b

🚀 Nova: アセンブリコード用生成型言語モデル

バイナリコード解析はセキュリティ分野の重要なタスクの基礎です。本モデルは、アセンブリコードの独特な課題に対応し、バイナリコードの解析や生成に優れた性能を発揮します。

🚀 クイックスタート

このセクションでは、Novaの概要と環境構築方法を説明します。

Novaの紹介

Novaは、DeepSeek - Coderのチェックポイントから始まる言語モデリングの目的で事前学習されています。事前学習には、AnghaBench の逆アセンブリコードと [The - Stack](https://huggingface.co/datasets/bigcode/the - stack) からコンパイルされたC/C++プログラムが使用されています。

これは、13億のパラメータを持つNovaの基礎モデルのリポジトリです。このシリーズの他のモデルは以下の通りです。

• [Nova - 1.3b - bcr](https://huggingface.co/lt - asset/nova - 1.3b - bcr): バイナリコード回復のためにさらに命令微調整されたNova - 1.3bモデル。
• [Nova - 6.7b](https://huggingface.co/lt - asset/nova - 6.7b): 67億のパラメータを持つバイナリコード用の基礎モデル。
• [Nova - 6.7b - bcr](https://huggingface.co/lt - asset/nova - 6.7b - bcr): バイナリコード回復のためにさらに命令微調整されたNova - 6.7bモデル。

環境構築

Condaを使用する場合

conda create -n nova python=3.10
conda activate nova
pip install -r requirements.txt

Dockerイメージを使用する場合

docker pull jiang719/nova
docker run --gpus all -it jiang719/nova

📚 ドキュメント

概要

バイナリコード解析はセキュリティ分野の重要なタスクの基礎です。大規模言語モデル（LLM）はソースコードタスクに大きな改善をもたらしましたが、アセンブリコードには直接適用できません。これは、アセンブリの独特な課題、つまり（1）アセンブリの低い情報密度と（2）アセンブリコードの多様な最適化によるものです。

これらの課題を克服するために、この研究では階層的アテンションメカニズムを提案します。このメカニズムはアテンションの要約を構築して、より効果的に意味を捉えることができます。また、対照学習の目的を設計して、LLMがアセンブリ最適化を学習するようにします。これらの技術を備えたNovaは、アセンブリコード用の生成型LLMです。

Novaは、バイナリコードの逆コンパイルで既存の技術を上回り、Pass@1とPass@10で最大14.84 - 21.58％高い性能を示し、最新のバイナリコード類似性検出技術を上回り、Recall@1で最大6.17％高い性能を示します。これは、アセンブリ生成と理解の両方のタスクで有望な能力を示しています。

📄 ライセンス

このプロジェクトはBSD 3 - Clause Clearライセンスの下で提供されています。

引用

@misc{jiang2024nova,
      title={Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning}, 
      author={Nan Jiang and Chengxiao Wang and Kevin Liu and Xiangzhe Xu and Lin Tan and Xiangyu Zhang},
      year={2024},
      eprint={2311.13721},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2311.13721}, 
}