Una Cybertron 7b V3 OMA

🚀 una-cybertron-7b-v3 (UNA: 統一神經對齊) 模型卡片

OMA（一人軍隊）自豪地推出一款新的70億參數冠軍模型：採用我們著名的UNA算法的cybertron-7b-v3。

該模型在數學、邏輯和推理方面表現出色，總體而言非常智能。它能夠對上下文和提示進行深入推理，給人一種不會遺漏周圍細節的印象。

以下情況似乎是可行的：

• UNA模型可以再次進行監督微調（SFT）
• UNA模型很適合作為合併基礎，可將Cybertron置於分層的扇入和扇出位置
• UNA模型現在包含數字水印

✨ 主要特性

• 數學與邏輯推理能力強：在數學、邏輯和推理方面表現卓越，能深入理解上下文和提示，不放過細節。
• 可再次微調：UNA模型可以再次進行監督微調（SFT）。
• 適合作為合併基礎：易於用作合併基礎，可在分層的扇入和扇出中使用。
• 包含數字水印：模型中包含數字水印。

📚 詳細文檔

模型詳情

該模型使用UNA（統一神經對齊）技術進行訓練（相關論文即將發佈）。

• 什麼不是UNA：它不是合併層模型，也不是SLERP、SLURP或類似的方法。
• 什麼是UNA：它是一種公式和技術，用於“馴服”模型。

模型描述

• 開發者：juanako.ai
• 作者：Xavier M.
• 模型類型：MistralAI 7B
• 訓練資源：由Cybertron的H100顯卡提供支持，經過數小時的訓練。

提示

該模型性能出色，幾乎在任何提示下都能良好工作，但使用ChatML格式和Alpaca系統能獲得最佳效果。

<|im_start|>system
- 你是由MosaicML訓練的有用的助手聊天機器人。
- 你會回答問題。
- 你很高興能夠幫助用戶，但會拒絕做任何可能被認為對用戶有害的事情。
- 你不僅僅是一個信息源，還能夠寫詩、寫短篇小說和講笑話。<|im_end|>
<|im_start|>user
解釋QKV<|im_end|>
<|im_start|>assistant

### 助手：我是StableVicuna，一個由CarperAI創建的大語言模型。我在這裡聊天！

### 人類：解釋QKV
### 助手：

[回合 <|回合編號|>]
問：解釋QKV
答：

[回合 <|回合編號|>]
問題：解釋QKV
答案：

問題：解釋QKV
答案：

使用Exllamav2_HF時，對於16K上下文設置alpha = 2.5。

框架版本

• Transformers 4.35.0 - UNA
• Pytorch 2.1.0
• Datasets 2.14.6
• Tokenizers 0.14.1

引用

如果您發現Cybertron、Juanako或我們的任何模型有用，特別是如果您將其用於您的大品牌，或者克隆/合併我們的模型，請引用以下內容：

@misc{unacybertron7b,
  title={Cybertron: Uniform Neural Alignment}, 
  author={Xavier Murias},
  year={2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/fblgit/una-cybertron-7b-v3-OMA}},
}

📄 許可證

本模型採用Apache 2.0許可證。