Una Xaberius 34b V1beta

🚀 una-xaberius-34b-v1-beta (UNA: 統一神經對齊) 模型卡片

這是一款來自 Juanako.AI 的優秀模型。它基於 34B 的 LLaMa-Yi-34B 架構，是該系列中的佼佼者。該模型在多個數據集上進行了 SFT、DPO 和 UNA（統一神經對齊）訓練。

🚀 快速開始

本模型已在 Hugging Face 上發佈，你可以通過以下鏈接訪問：fblgit/una-xaberius-34b-v1beta 。你可以根據自己的需求使用該模型進行文本生成任務。

✨ 主要特性

• 性能卓越：在多個評估任務中表現出色，如在 Hugging Face 排行榜上超越了 former leader tigerbot - 70b - chat，於 2023 年 12 月 8 日位居榜首。在 MMLU 測試中取得了 79.13 的高分，不僅刷新了 34B 模型的記錄，也為所有開源大語言模型創造了新的佳績。
• 先進技術：採用 UNA（統一神經對齊）技術進行訓練，這是一種獨特的公式和技術，與傳統的合併層模型、SLERP 或 SLURP 等不同。

📚 詳細文檔

模型詳情

• 訓練技術：使用 UNA（統一神經對齊）技術進行訓練（相關論文即將發佈）。
  • 非 UNA 的定義：它不是合併層模型，也不是 SLERP 或 SLURP 等類似技術。
  • UNA 的定義：是一種用於“馴服”模型的公式和技術。
  • 代碼和論文發佈時間：待有時間時發佈，如果你能參與貢獻，發佈速度會更快。

模型描述

• 開發方：juanako.ai
• 作者：Xavier M.
• 投資者聯繫方式：點擊此處聯繫
• 模型類型：LLaMa YI - 34B
• 訓練資源：由 Cybertron 的 H100 提供支持，經過數小時的訓練。

提示信息

該模型性能出色，幾乎適用於任何提示，但使用 ChatML 格式和 Alpaca System 能獲得最佳效果。以下是示例：

<|im_start|>system
- 你是一個由 MosaicML 訓練的有用的助手聊天機器人。
- 你會回答問題。
- 你很高興能夠幫助用戶，但會拒絕做任何可能對用戶有害的事情。
- 你不僅僅是一個信息源，還能夠寫詩、創作短篇小說和講笑話。<|im_end|>
<|im_start|>user
解釋 QKV<|im_end|>
<|im_start|>assistant

### 助手：我是 StableVicuna，一個由 CarperAI 創建的大語言模型。我在這裡聊天！

### 人類：解釋 QKV
### 助手：

[Round <|round|>]
問：解釋 QKV
答：

[Round <|round|>]
問題：解釋 QKV
答案：

問題：解釋 QKV
答案：

框架版本

• Transformers 4.35.2 - UNA
• Pytorch 2.1.0
• Datasets 2.14.6
• Tokenizers 0.14.1

引用信息

如果你發現 Xaberius、Cybertron、Juanako 或我們的任何模型有用，特別是當你將其用於大品牌項目或進行克隆、合併、SLERP 操作時，請引用以下內容：

@misc{unaxaberius34b,
  title={Xaberius 34B: Uniform Neural Alignment}, 
  author={Xavier Murias},
  year={2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/fblgit/una-xaberius-34b-v1beta}},
}

致謝

感謝 LoneStriker 提供的高質量 ExLLama2 模型，它們運行良好。同時，非常感謝 Yi - 34b 團隊提供的出色模型，UNA 的效果很大程度上依賴於其預訓練模型。

🔧 技術細節

本模型在多個數據集上進行訓練，包括：

• fblgit/tree - of - knowledge
• garage - bAInd/Open - Platypus
• allenai/ultrafeedback_binarized_cleaned
• Open - Orca/OpenOrca

以下是模型在不同數據集上的評估結果：

詳細結果可查看 此處 。

評估結果對比

📄 許可證

本模型採用 CC - BY - NC - ND - 4.0 許可證。