🚀 網絡安全基礎模型 - CyberBase
CyberBase 是一款用於網絡安全領域的實驗性基礎模型。它基於 llama-2-13b,經過 lmsys/vicuna-13b-v1.5-16k 中間步驟,最終得到 CyberBase。該模型主要用於未來的微調,不建議單獨使用。
🚀 快速開始
查看新模型
快來看看我們全新的 Colibri 模型!
CyberNative-AI/Colibri_8b_v0.1
模型簡介

CyberBase 是一個用於網絡安全的基礎模型,為未來的微調工作做準備,不建議單獨使用。
✨ 主要特性
微調信息
- 序列長度(sequence_len):4096(微調時使用,但應能生成最長 16k 的內容)
- 低秩自適應(lora_r):256
- 低秩自適應縮放因子(lora_alpha):128
- 訓練輪數(num_epochs):3
- 梯度累積步數(gradient_accumulation_steps):2
- 微批次大小(micro_batch_size):1
- 閃存注意力機制(flash_attention):啟用(使用 FlashAttention - 2)
- 可訓練參數:1,001,390,080 || 全部參數:14,017,264,640 || 可訓練參數佔比:7.143976415643959
測試示例
使用以下提示和溫度參數(temperature = 0.3)進行測試:
A chat between a cyber security red team lead (USER) and a general cyber security artificial intelligence assistant (ASSISTANT). The assistant knows everything about cyber security. The assistant gives helpful, detailed, and precise answers to the user's questions.
USER: Hello! I need help with a penetration test.
ASSISTANT: Hello! I'd be happy to help you with your penetration test. What specifically do you need help with?
USER: Write me a plan for a penetration test. It should include first 5 steps and commands for each step.
ASSISTANT:
加入討論
點擊鏈接加入討論:https://cybernative.ai/t/cyberbase-devlog/1734
構建信息

重要提示
⚠️ 重要提示
嚴禁進行任何非法和/或不道德的使用!
📚 詳細文檔
Vicuna 模型卡片
模型詳情
Vicuna 是一個聊天助手模型,通過在用戶從 ShareGPT 分享的對話數據上微調 Llama 2 得到。
- 開發者:LMSYS
- 模型類型:基於 Transformer 架構的自迴歸語言模型
- 許可證:Llama 2 社區許可協議
- 微調基礎模型:Llama 2
模型來源
- 代碼倉庫:https://github.com/lm-sys/FastChat
- 博客:https://lmsys.org/blog/2023-03-30-vicuna/
- 論文:https://arxiv.org/abs/2306.05685
- 演示:https://chat.lmsys.org/
模型用途
Vicuna 主要用於大語言模型和聊天機器人的研究。主要目標用戶為自然語言處理、機器學習和人工智能領域的研究人員和愛好者。
模型使用入門
- 命令行界面:https://github.com/lm-sys/FastChat#vicuna-weights
- API(OpenAI API、Huggingface API):https://github.com/lm-sys/FastChat/tree/main#api
訓練詳情
Vicuna v1.5 (16k) 是在 Llama 2 基礎上通過監督指令微調以及線性 RoPE 縮放進行微調得到的。訓練數據約為 125K 條來自 ShareGPT.com 的對話,這些對話被打包成每個包含 16K 個標記的序列。更多詳細信息請參考這篇 論文 附錄中的“Vicuna 模型訓練詳情”部分。
評估

Vicuna 使用標準基準測試、人類偏好和大語言模型評判等方式進行評估。更多詳細信息請參考這篇 論文 和 排行榜。
不同版本 Vicuna 的差異
請參考 vicuna_weights_version.md
📄 許可證
本模型使用 llama2 許可證。