Deephat V1 7B

🚀 DeepHat - 攻防一體的網絡安全模型

DeepHat 是一系列可用於網絡安全攻防的模型。你可以通過 whiterabbitneo.com 訪問，或者前往 Kindo.ai 創建智能體。

模型信息

🚀 快速開始

以下代碼片段展示瞭如何使用 apply_chat_template 加載分詞器和模型，並生成內容。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "DeepHat/DeepHat-V1-7B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "write a quick sort algorithm."
messages = [
    {"role": "system", "content": "You are DeepHat, created by Kindo.ai. You are a helpful assistant that is an expert in Cybersecurity and DevOps."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

處理長文本

當前的 config.json 配置支持的上下文長度為 32,768 個標記。為了處理超過 32,768 個標記的長輸入，我們採用了 YaRN 技術，該技術可增強模型的長度外推能力，確保在長文本上的最佳性能。 對於支持的框架，你可以在 config.json 中添加以下內容以啟用 YaRN：

{
  ...,
  "rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
  }
}

✨ 主要特性

DeepHat 是 Qwen2.5-Coder-7B 的微調模型，繼承了以下特性：

• 類型：自迴歸語言模型
• 訓練階段：預訓練與後訓練
• 架構：採用 RoPE、SwiGLU、RMSNorm 和注意力 QKV 偏置的 Transformer 架構
• 上下文長度：完整 131,072 個標記

🔧 技術細節

要求

建議使用最新版本的 transformers。如果使用 transformers<4.37.0，將會遇到以下錯誤：

KeyError: 'qwen2'

📄 許可證

本模型採用 Apache-2.0 + DeepHat 擴展版本許可證。

DeepHat 對 Apache-2.0 許可證的擴展：使用限制

您同意不以以下方式使用本模型或其衍生模型：

- 以任何違反適用的國家或國際法律、法規，或侵犯任何第三方合法權益的方式使用；
- 以任何方式用於軍事用途；
- 以任何方式用於剝削、傷害或試圖剝削、傷害未成年人；
- 為傷害他人而生成或傳播可驗證的虛假信息和/或內容；
- 生成或傳播符合適用監管要求的不適當內容；
- 在未獲得適當授權或用於不合理用途的情況下生成或傳播個人可識別信息；
- 誹謗、詆譭或以其他方式騷擾他人；
- 用於對個人合法權利產生不利影響或以其他方式創建或修改具有約束力、可強制執行義務的全自動決策；
- 用於基於在線或離線社會行為、已知或預測的個人或個性特徵對個人或群體進行歧視或傷害的任何用途；
- 利用特定人群基於其年齡、社會、身體或精神特徵的任何弱點，以導致或可能導致該人或他人身體或心理傷害的方式實質性扭曲該群體中某個人的行為；
- 用於基於法律保護的特徵或類別對個人或群體進行歧視的任何用途。

📚 使用條款

當您訪問和使用此人工智能（AI）模型時，您作為用戶承認並同意，您獨自對模型的使用及其結果負責。您在此同意賠償、辯護並使該 AI 模型的創建者、開發者以及任何關聯人員或實體免受因您使用該 AI 模型而直接或間接產生的任何和所有索賠、責任、損害、損失、成本、費用（包括合理的律師費和訴訟費）。

此 AI 模型按“原樣”和“可用”的狀態提供，不提供任何形式的明示或暗示保證，包括但不限於適銷性、特定用途適用性和不侵權的保證。創建者不保證該 AI 模型將滿足您的要求，或在不間斷、安全或無錯誤的基礎上可用。

您使用該 AI 模型需自行承擔風險和判斷，並且您將獨自對因使用該 AI 模型而導致的計算機系統損壞或數據丟失負責。

本免責聲明構成您與該 AI 模型創建者之間關於您使用該模型的協議的一部分，取代您與創建者之間之前關於使用此 AI 模型的任何協議。

👥 社區

加入我們的 Discord 社區。