Llama Phishsense 1B

🚀 精明的Llama - Phishsense - 1B：革新網絡釣魚防護！

網絡釣魚攻擊不斷演變，對企業和個人都構成了威脅。要是你能部署一個高效且有效的、由人工智能驅動的防禦系統，主動識別這些威脅並保護你的收件箱，那該多好？

Llama - Phishsense - 1B 就是這樣的解決方案，它是基於微調後的 Llama - Guard - 3 - 1B 的最先進模型，經過訓練能夠敏銳感知網絡釣魚威脅。它體積小巧，可在任何地方使用，是專門為網絡釣魚檢測而訓練的模型。

點擊查看發佈文章 ，查看相關論文。

🚀 快速開始

使用 Llama - Phishsense - 1B 就像運行幾行 Python 代碼一樣簡單。你只需加載基礎模型和 LoRA 適配器，就能在幾秒鐘內對電子郵件進行分類！

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# Function to load the model and tokenizer
def load_model():
    tokenizer = AutoTokenizer.from_pretrained("AcuteShrewdSecurity/Llama-Phishsense-1B")
    base_model = AutoModelForCausalLM.from_pretrained("AcuteShrewdSecurity/Llama-Phishsense-1B")
    model_with_lora = PeftModel.from_pretrained(base_model, "AcuteShrewdSecurity/Llama-Phishsense-1B")
    
    # Move model to GPU if available
    if torch.cuda.is_available():
        model_with_lora = model_with_lora.to('cuda')
    
    return model_with_lora, tokenizer

# Function to make a single prediction
def predict_email(model, tokenizer, email_text):
    prompt = f"Classify the following text as phishing or not. Respond with 'TRUE' or 'FALSE':\n\n{email_text}\nAnswer:"
    inputs = tokenizer(prompt, return_tensors="pt")

    # Move inputs to GPU if available
    if torch.cuda.is_available():
        inputs = {key: value.to('cuda') for key, value in inputs.items()}

    with torch.no_grad():
        output = model.generate(**inputs, max_new_tokens=5, temperature=0.01, do_sample=False)
    
    response = tokenizer.decode(output[0], skip_special_tokens=True).split("Answer:")[1].strip()
    return response

# Load model and tokenizer
model, tokenizer = load_model()

# Example email text
email_text = "Urgent: Your account has been flagged for suspicious activity. Please log in immediately."
prediction = predict_email(model, tokenizer, email_text)
print(f"Model Prediction for the email: {prediction}")

✨ 主要特性

抵禦企業級網絡釣魚攻擊

在企業環境中，網絡釣魚郵件可能看起來很正規，容易繞過傳統過濾器。攻擊者會專門定製郵件來針對特定人員，尤其是財務、人力資源或 IT 部門的人員。AcuteShrewdSecurity/Llama - Phishsense - 1B 可以集成到企業電子郵件系統中，作為額外的保護層：

• 降低針對性網絡釣魚攻擊的風險：有效識別針對企業人員的釣魚郵件，減少數據洩露的可能性。
• 防止敏感信息被非法訪問：保護企業的核心數據，避免因釣魚攻擊導致的信息洩露。
• 減少恢復成功釣魚攻擊造成的停機時間：及時發現並阻止釣魚郵件，降低對企業業務的影響。

個人使用場景

對於個人來說，管理個人信息比以往任何時候都更加重要。看起來來自合法服務（如網上銀行或社交網絡）的網絡釣魚郵件很容易通過基本的電子郵件過濾器。該模型：

• 在你打開郵件之前識別釣魚企圖：提前攔截釣魚郵件，保護個人信息安全。
• 提供明確的“TRUE”或“FALSE”預測：清晰告知郵件是否安全，讓你一目瞭然。
• 讓你放心，知道你的私人數據是安全的：為個人用戶提供可靠的安全保障。

提供網絡釣魚防護即服務

對於安全專業人員和 IT 提供商來說，將 Llama - Phishsense - 1B 集成到安全服務中，可以為客戶提供額外的、可靠的、由人工智能驅動的保護層：

• 將此模型添加到現有的網絡安全堆棧中：增強現有安全系統的功能，提升整體防護能力。
• 通過提供經過驗證的網絡釣魚檢測系統提高客戶滿意度：為客戶提供更優質的安全服務，增強客戶信任。
• 幫助客戶避免高昂的違規成本並保持運營效率：減少因釣魚攻擊導致的損失，保障客戶業務的正常運行。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# Function to load the model and tokenizer
def load_model():
    tokenizer = AutoTokenizer.from_pretrained("AcuteShrewdSecurity/Llama-Phishsense-1B")
    base_model = AutoModelForCausalLM.from_pretrained("AcuteShrewdSecurity/Llama-Phishsense-1B")
    model_with_lora = PeftModel.from_pretrained(base_model, "AcuteShrewdSecurity/Llama-Phishsense-1B")
    
    # Move model to GPU if available
    if torch.cuda.is_available():
        model_with_lora = model_with_lora.to('cuda')
    
    return model_with_lora, tokenizer

# Function to make a single prediction
def predict_email(model, tokenizer, email_text):
    prompt = f"Classify the following text as phishing or not. Respond with 'TRUE' or 'FALSE':\n\n{email_text}\nAnswer:"
    inputs = tokenizer(prompt, return_tensors="pt")

    # Move inputs to GPU if available
    if torch.cuda.is_available():
        inputs = {key: value.to('cuda') for key, value in inputs.items()}

    with torch.no_grad():
        output = model.generate(**inputs, max_new_tokens=5, temperature=0.01, do_sample=False)
    
    response = tokenizer.decode(output[0], skip_special_tokens=True).split("Answer:")[1].strip()
    return response

# Load model and tokenizer
model, tokenizer = load_model()

# Example email text
email_text = "Urgent: Your account has been flagged for suspicious activity. Please log in immediately."
prediction = predict_email(model, tokenizer, email_text)
print(f"Model Prediction for the email: {prediction}")

高級用法

文檔未提及高級用法相關代碼，故跳過此部分。

📚 詳細文檔

為何網絡釣魚是日益嚴重的威脅

網絡釣魚不再僅僅是個人的擔憂，它已經成為企業級的威脅。許多網絡攻擊都是從針對有價值數據的網絡釣魚郵件開始的。惡意行為者會編寫越來越具有欺騙性的郵件，即使是最警惕的人也很難區分真實郵件和欺詐郵件。

其後果包括：數十億的財務損失、個人和專業賬戶被盜用以及聲譽受損。

解決方案：人工智能驅動的網絡釣魚檢測

傳統安全系統難以跟上現代網絡釣魚策略的步伐。這就是人工智能發揮作用的地方。Llama - Phishsense - 1B 旨在：

• 即時自動檢測網絡釣魚模式：及時發現並攔截釣魚郵件，保護用戶安全。
• 保護你的組織免受代價高昂的違規行為：減少因釣魚攻擊導致的經濟損失和數據洩露。
• 讓人們有信心地管理收件箱，知道自己受到保護：為用戶提供可靠的安全保障。

加入提升網絡安全的行動

我們的計劃不僅僅是另一個人工智能工具，它是邁向全球網絡彈性的一步。通過利用最新的低秩自適應（LoRA） 技術，AcuteShrewdSecurity/Llama - Phishsense - 1B 模型旨在以最少的資源識別網絡釣魚企圖，在不犧牲準確性的前提下實現快速高效的檢測。

模型描述

Llama - Phishsense - 1B 是 meta - llama/Llama - Guard - 3 - 1B 的微調版本，專門針對企業電子郵件環境中的網絡釣魚檢測進行了優化。通過先進的基於 LoRA 的微調，它將電子郵件分類為“TRUE”（釣魚）或“FALSE”（非釣魚），為日益增長的電子郵件詐騙威脅提供輕量級但強大的保護。

關鍵特性

為何選擇此模型

如今，網絡釣魚是大多數安全漏洞的罪魁禍首。Llama - Phishsense - 1B 模型是解決這一問題的答案：

• 高度準確：該模型在實際評估中取得了出色的成績，在平衡數據集上的 F1 分數達到 0.99。
• 快速高效：利用 LoRA 微調，它運行速度更快，同時需要的計算資源更少，意味著你可以在不降低系統速度的情況下獲得一流的保護。
• 人人可用：無論你是 IT 團隊還是單個電子郵件用戶，這個工具都易於集成和使用。

訓練和微調

LoRA 配置

• 秩：r = 16
• Alpha：lora_alpha = 32
• Dropout：lora_dropout = 0.1
• 在 q_proj 和 v_proj 變壓器層上進行自適應調整，以實現高效微調。

訓練數據

該模型在一個平衡數據集上進行了微調，該數據集包含 30,000 封釣魚郵件和 30,000 封非釣魚郵件，這些郵件選自 ealvaradob/phishing - dataset ，以確保在現實世界中的適用性。

優化器

• AdamW 優化器：權重衰減為 0.01，學習率為 1e - 3。

訓練配置

• 混合精度（FP16）：在不犧牲準確性的前提下實現更快的訓練。
• 梯度累積步數：10。
• 批量大小：每個設備 10。
• 訓練輪數：10。

性能（微調前後）

我們的模型在多個數據集上證明了其有效性（評估來自 zefang - liu/phishing - email - dataset 以及自定義創建的數據集）：

在驗證數據集（包括自定義專家設計的釣魚案例）上，該模型仍然表現出色：

與一些相關模型的比較如下：

點擊查看相關論文 。如有反饋，請發送郵件至 b1oo@shrewdsecurity.com 。

🔧 技術細節

LoRA 配置

• 秩：r = 16，確定了低秩矩陣的維度，影響模型的表達能力和計算效率。
• Alpha：lora_alpha = 32，用於縮放低秩矩陣的更新，調整微調過程中的學習步長。
• Dropout：lora_dropout = 0.1，在訓練過程中隨機丟棄部分神經元，防止過擬合。
• 模型在 q_proj 和 v_proj 變壓器層上進行自適應調整，這些層在注意力機制中起著關鍵作用，通過微調這些層可以更有效地捕捉文本特徵，提高模型的性能。

訓練數據

模型在一個平衡的數據集上進行微調，該數據集包含 30,000 封釣魚郵件和 30,000 封非釣魚郵件，選自 ealvaradob/phishing - dataset 。這種平衡的數據集有助於模型學習到釣魚郵件和非釣魚郵件的特徵，提高分類的準確性。同時，使用真實世界的郵件數據可以確保模型在實際應用中的有效性。

優化器

使用 AdamW 優化器，它結合了 Adam 優化器的自適應學習率和權重衰減的優點。權重衰減設置為 0.01，可以防止模型過擬合，提高泛化能力。學習率設置為 1e - 3，控制模型在訓練過程中的更新步長，確保模型能夠穩定收斂。

訓練配置

• 混合精度（FP16）：採用混合精度訓練可以在不犧牲太多準確性的前提下，顯著提高訓練速度。通過使用半精度浮點數（FP16）進行計算，可以減少內存佔用，提高 GPU 的利用率。
• 梯度累積步數：設置為 10，意味著在每 10 個批次的訓練後才進行一次參數更新。這可以模擬更大的批次大小，在有限的內存資源下實現更穩定的訓練。
• 批量大小：每個設備的批量大小為 10，確定了每次訓練時輸入模型的樣本數量。合適的批量大小可以平衡訓練速度和模型性能。
• 訓練輪數：設置為 10，即模型對整個數據集進行 10 次完整的訓練。足夠的訓練輪數可以讓模型充分學習數據的特徵，但過多的輪數可能會導致過擬合。

📄 許可證

本模型的許可證為 llama3.2。