Deephat V1 7B

🚀 DeepHat - 攻防一体的网络安全模型

DeepHat 是一系列可用于网络安全攻防的模型。你可以通过 whiterabbitneo.com 访问，或者前往 Kindo.ai 创建智能体。

模型信息

🚀 快速开始

以下代码片段展示了如何使用 apply_chat_template 加载分词器和模型，并生成内容。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "DeepHat/DeepHat-V1-7B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "write a quick sort algorithm."
messages = [
    {"role": "system", "content": "You are DeepHat, created by Kindo.ai. You are a helpful assistant that is an expert in Cybersecurity and DevOps."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

处理长文本

当前的 config.json 配置支持的上下文长度为 32,768 个标记。为了处理超过 32,768 个标记的长输入，我们采用了 YaRN 技术，该技术可增强模型的长度外推能力，确保在长文本上的最佳性能。 对于支持的框架，你可以在 config.json 中添加以下内容以启用 YaRN：

{
  ...,
  "rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
  }
}

✨ 主要特性

DeepHat 是 Qwen2.5-Coder-7B 的微调模型，继承了以下特性：

• 类型：自回归语言模型
• 训练阶段：预训练与后训练
• 架构：采用 RoPE、SwiGLU、RMSNorm 和注意力 QKV 偏置的 Transformer 架构
• 上下文长度：完整 131,072 个标记

🔧 技术细节

要求

建议使用最新版本的 transformers。如果使用 transformers<4.37.0，将会遇到以下错误：

KeyError: 'qwen2'

📄 许可证

本模型采用 Apache-2.0 + DeepHat 扩展版本许可证。

DeepHat 对 Apache-2.0 许可证的扩展：使用限制

您同意不以以下方式使用本模型或其衍生模型：

- 以任何违反适用的国家或国际法律、法规，或侵犯任何第三方合法权益的方式使用；
- 以任何方式用于军事用途；
- 以任何方式用于剥削、伤害或试图剥削、伤害未成年人；
- 为伤害他人而生成或传播可验证的虚假信息和/或内容；
- 生成或传播符合适用监管要求的不适当内容；
- 在未获得适当授权或用于不合理用途的情况下生成或传播个人可识别信息；
- 诽谤、诋毁或以其他方式骚扰他人；
- 用于对个人合法权利产生不利影响或以其他方式创建或修改具有约束力、可强制执行义务的全自动决策；
- 用于基于在线或离线社会行为、已知或预测的个人或个性特征对个人或群体进行歧视或伤害的任何用途；
- 利用特定人群基于其年龄、社会、身体或精神特征的任何弱点，以导致或可能导致该人或他人身体或心理伤害的方式实质性扭曲该群体中某个人的行为；
- 用于基于法律保护的特征或类别对个人或群体进行歧视的任何用途。

📚 使用条款

当您访问和使用此人工智能（AI）模型时，您作为用户承认并同意，您独自对模型的使用及其结果负责。您在此同意赔偿、辩护并使该 AI 模型的创建者、开发者以及任何关联人员或实体免受因您使用该 AI 模型而直接或间接产生的任何和所有索赔、责任、损害、损失、成本、费用（包括合理的律师费和诉讼费）。

此 AI 模型按“原样”和“可用”的状态提供，不提供任何形式的明示或暗示保证，包括但不限于适销性、特定用途适用性和不侵权的保证。创建者不保证该 AI 模型将满足您的要求，或在不间断、安全或无错误的基础上可用。

您使用该 AI 模型需自行承担风险和判断，并且您将独自对因使用该 AI 模型而导致的计算机系统损坏或数据丢失负责。

本免责声明构成您与该 AI 模型创建者之间关于您使用该模型的协议的一部分，取代您与创建者之间之前关于使用此 AI 模型的任何协议。

👥 社区

加入我们的 Discord 社区。