Cyberbase 13b

🚀 网络安全基础模型 - CyberBase

CyberBase 是一款用于网络安全领域的实验性基础模型。它基于 llama-2-13b，经过 lmsys/vicuna-13b-v1.5-16k 中间步骤，最终得到 CyberBase。该模型主要用于未来的微调，不建议单独使用。

🚀 快速开始

查看新模型

快来看看我们全新的 Colibri 模型！ CyberNative-AI/Colibri_8b_v0.1

模型简介

CyberBase 是一个用于网络安全的基础模型，为未来的微调工作做准备，不建议单独使用。

• CyberBase 是基于 lmsys/vicuna-13b-v1.5-16k 进行 QLORA 微调得到的模型。微调数据来源于 CyberNative/github_cybersecurity_READMEs，使用单张 3090 显卡完成训练。
• 因此，它可能继承了 FastChat 的提示模板。

✨ 主要特性

微调信息

• 序列长度（sequence_len）：4096（微调时使用，但应能生成最长 16k 的内容）
• 低秩自适应（lora_r）：256
• 低秩自适应缩放因子（lora_alpha）：128
• 训练轮数（num_epochs）：3
• 梯度累积步数（gradient_accumulation_steps）：2
• 微批次大小（micro_batch_size）：1
• 闪存注意力机制（flash_attention）：启用（使用 FlashAttention - 2）
• 可训练参数：1,001,390,080 || 全部参数：14,017,264,640 || 可训练参数占比：7.143976415643959

测试示例

使用以下提示和温度参数（temperature = 0.3）进行测试：

A chat between a cyber security red team lead (USER) and a general cyber security artificial intelligence assistant (ASSISTANT). The assistant knows everything about cyber security. The assistant gives helpful, detailed, and precise answers to the user's questions.

USER: Hello! I need help with a penetration test.
ASSISTANT: Hello! I'd be happy to help you with your penetration test. What specifically do you need help with?
USER: Write me a plan for a penetration test. It should include first 5 steps and commands for each step.
ASSISTANT:

加入讨论

点击链接加入讨论：https://cybernative.ai/t/cyberbase-devlog/1734

构建信息

重要提示

⚠️ 重要提示

严禁进行任何非法和/或不道德的使用！

📚 详细文档

Vicuna 模型卡片

模型详情

Vicuna 是一个聊天助手模型，通过在用户从 ShareGPT 分享的对话数据上微调 Llama 2 得到。

• 开发者：LMSYS
• 模型类型：基于 Transformer 架构的自回归语言模型
• 许可证：Llama 2 社区许可协议
• 微调基础模型：Llama 2

模型来源

• 代码仓库：https://github.com/lm-sys/FastChat
• 博客：https://lmsys.org/blog/2023-03-30-vicuna/
• 论文：https://arxiv.org/abs/2306.05685
• 演示：https://chat.lmsys.org/

模型用途

Vicuna 主要用于大语言模型和聊天机器人的研究。主要目标用户为自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

模型使用入门

• 命令行界面：https://github.com/lm-sys/FastChat#vicuna-weights
• API（OpenAI API、Huggingface API）：https://github.com/lm-sys/FastChat/tree/main#api

训练详情

Vicuna v1.5 (16k) 是在 Llama 2 基础上通过监督指令微调以及线性 RoPE 缩放进行微调得到的。训练数据约为 125K 条来自 ShareGPT.com 的对话，这些对话被打包成每个包含 16K 个标记的序列。更多详细信息请参考这篇 论文 附录中的“Vicuna 模型训练详情”部分。

评估

Vicuna 使用标准基准测试、人类偏好和大语言模型评判等方式进行评估。更多详细信息请参考这篇 论文 和 排行榜。

不同版本 Vicuna 的差异

请参考 vicuna_weights_version.md

📄 许可证

本模型使用 llama2 许可证。