Llm4decompile 1.3b V2

🚀 LLM4Decompileプロジェクト

LLM4Decompileは、x86アセンブリ命令をC言語コードに逆コンパイルすることを目的としています。新しくリリースされたV2シリーズは、より大きなデータセット（2Bトークン）を使用してトレーニングされ、最大トークン長は4096です。以前のモデルと比較して、性能が大幅に向上しており（最大100％）、逆コンパイルの精度や速度が向上しています。

🚀 クイックスタート

プロジェクトリポジトリ

• Githubリポジトリ：LLM4Decompile

✨ 主な機能

LLM4Decompileの主な機能は、強力な逆コンパイル能力にあります。特に新しくリリースされたV2シリーズは、より大きなデータセットとより長い最大トークン長を使用することで、x86アセンブリ命令をC言語コードに逆コンパイルする際に優れた性能を発揮します。以前のモデルと比較して、性能が大幅に向上しています。

📦 インストール

1. Ghidraのインストール

Ghidra を現在のフォルダにダウンロードします。他のバージョンを取得するには、このページ を参照してください。ダウンロードした圧縮ファイルを現在のフォルダに解凍します。 bashでは、以下のコマンドを使用できます。

cd LLM4Decompile/ghidra
wget https://github.com/NationalSecurityAgency/ghidra/releases/download/Ghidra_11.0.3_build/ghidra_11.0.3_PUBLIC_20240410.zip
unzip ghidra_11.0.3_PUBLIC_20240410.zip

2. Java-SDK-17のインストール

Ghidra 11はJava-SDK-17に依存しています。UbuntuでSDKをインストールする簡単な方法は以下の通りです。

apt-get update
apt-get upgrade
apt install openjdk-17-jdk openjdk-17-jre

他のプラットフォームでのインストール方法については、Ghidraインストールガイド を参照してください。

💻 使用例

基本的な使用法

3. Ghidra Headlessを使用してバイナリファイルを逆コンパイルする（demo.py）

注意：func0 を逆コンパイルする関数名に置き換えてください。 前処理：Cコードをバイナリファイルにコンパイルし、バイナリファイルをアセンブリ命令に逆アセンブルします。

import os
import subprocess
from tqdm import tqdm,trange

OPT = ["O0", "O1", "O2", "O3"]
timeout_duration = 10

ghidra_path = "./ghidra_11.0.3_PUBLIC/support/analyzeHeadless"#path to the headless analyzer, change the path accordingly
postscript = "./decompile.py"#path to the decompiler helper function, change the path accordingly
project_path = "."#path to temp folder for analysis, change the path accordingly
project_name = "tmp_ghidra_proj"
func_path = "../samples/sample.c"#path to c code for compiling and decompiling, change the path accordingly
fileName = "sample"

with tempfile.TemporaryDirectory() as temp_dir:
    pid = os.getpid()
    asm_all = {}
    for opt in [OPT[0]]:
        executable_path = os.path.join(temp_dir, f"{pid}_{opt}.o")
        cmd = f'gcc -{opt} -o {executable_path} {func_path} -lm'
        subprocess.run(
        cmd.split(' '),
        check=True,
        stdout=subprocess.DEVNULL,  # Suppress stdout
        stderr=subprocess.DEVNULL,  # Suppress stderr
        timeout=timeout_duration,
        )

        output_path = os.path.join(temp_dir, f"{pid}_{opt}.c")
        command = [
            ghidra_path,
            temp_dir,
            project_name,
            "-import", executable_path,
            "-postScript", postscript, output_path,
            "-deleteProject",  # WARNING: This will delete the project after analysis
        ]
        result = subprocess.run(command, text=True, capture_output=True, check=True)
        with open(output_path,'r') as f:
            c_decompile = f.read()
        c_func = []
        flag = 0
        for line in c_decompile.split('\n'):
            if "Function: func0" in line:#**Replace** func0 with the function name you want to decompile.
                flag = 1
                c_func.append(line)
                continue
            if flag:
                if '// Function:' in line:
                    if len(c_func) > 1:
                        break
                c_func.append(line)
        if flag == 0:
            raise ValueError('bad case no function found')
        for idx_tmp in range(1,len(c_func)):##########remove the comments
            if 'func0' in c_func[idx_tmp]:
                break
        c_func = c_func[idx_tmp:]
        input_asm = '\n'.join(c_func).strip()

        before = f"# This is the assembly code:\n"#prompt
        after = "\n# What is the source code?\n"#prompt
        input_asm_prompt = before+input_asm.strip()+after
        with open(fileName +'_' + opt +'.pseudo','w',encoding='utf-8') as f:
            f.write(input_asm_prompt)

Ghidraの疑似コードは次のようになります。

undefined4 func0(float param_1,long param_2,int param_3)
{
  int local_28;
  int local_24;
  
  local_24 = 0;
  do {
    local_28 = local_24;
    if (param_3 <= local_24) {
      return 0;
    }
    while (local_28 = local_28 + 1, local_28 < param_3) {
      if ((double)((ulong)(double)(*(float *)(param_2 + (long)local_24 * 4) -
                                  *(float *)(param_2 + (long)local_28 * 4)) &
                  SUB168(_DAT_00402010,0)) < (double)param_1) {
        return 1;
      }
    }
    local_24 = local_24 + 1;
  } while( true );
}

4. LLM4Decompileを使用して疑似コードを最適化する（demo.py）

逆コンパイル：LLM4Decompile-Refを使用して、Ghidraの疑似コードをC言語コードに最適化します。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = 'LLM4Binary/llm4decompile-6.7b-v2' # V2 Model
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16).cuda()

with open(fileName +'_' + OPT[0] +'.pseudo','r') as f:#optimization level O0
    asm_func = f.read()
inputs = tokenizer(asm_func, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=2048)### max length to 4096, max new tokens should be below the range
c_func_decompile = tokenizer.decode(outputs[0][len(inputs[0]):-1])

with open(fileName +'_' + OPT[0] +'.pseudo','r') as f:#original file
    func = f.read()

print(f'pseudo function:\n{func}')# Note we only decompile one function, where the original file may contain multiple functions
print(f'refined function:\n{c_func_decompile}')

📚 ドキュメント

評価結果

📄 ライセンス

このコードリポジトリはMITライセンスに従います。

📞 お問い合わせ

何か質問がある場合は、issueを提出してください。