Una Xaberius 34b V1beta

🚀 una-xaberius-34b-v1-beta (UNA: 统一神经对齐) 模型卡片

这是一款来自 Juanako.AI 的优秀模型。它基于 34B 的 LLaMa-Yi-34B 架构，是该系列中的佼佼者。该模型在多个数据集上进行了 SFT、DPO 和 UNA（统一神经对齐）训练。

🚀 快速开始

本模型已在 Hugging Face 上发布，你可以通过以下链接访问：fblgit/una-xaberius-34b-v1beta 。你可以根据自己的需求使用该模型进行文本生成任务。

✨ 主要特性

• 性能卓越：在多个评估任务中表现出色，如在 Hugging Face 排行榜上超越了 former leader tigerbot - 70b - chat，于 2023 年 12 月 8 日位居榜首。在 MMLU 测试中取得了 79.13 的高分，不仅刷新了 34B 模型的记录，也为所有开源大语言模型创造了新的佳绩。
• 先进技术：采用 UNA（统一神经对齐）技术进行训练，这是一种独特的公式和技术，与传统的合并层模型、SLERP 或 SLURP 等不同。

📚 详细文档

模型详情

• 训练技术：使用 UNA（统一神经对齐）技术进行训练（相关论文即将发布）。
  • 非 UNA 的定义：它不是合并层模型，也不是 SLERP 或 SLURP 等类似技术。
  • UNA 的定义：是一种用于“驯服”模型的公式和技术。
  • 代码和论文发布时间：待有时间时发布，如果你能参与贡献，发布速度会更快。

模型描述

• 开发方：juanako.ai
• 作者：Xavier M.
• 投资者联系方式：点击此处联系
• 模型类型：LLaMa YI - 34B
• 训练资源：由 Cybertron 的 H100 提供支持，经过数小时的训练。

提示信息

该模型性能出色，几乎适用于任何提示，但使用 ChatML 格式和 Alpaca System 能获得最佳效果。以下是示例：

<|im_start|>system
- 你是一个由 MosaicML 训练的有用的助手聊天机器人。
- 你会回答问题。
- 你很高兴能够帮助用户，但会拒绝做任何可能对用户有害的事情。
- 你不仅仅是一个信息源，还能够写诗、创作短篇小说和讲笑话。<|im_end|>
<|im_start|>user
解释 QKV<|im_end|>
<|im_start|>assistant

### 助手：我是 StableVicuna，一个由 CarperAI 创建的大语言模型。我在这里聊天！

### 人类：解释 QKV
### 助手：

[Round <|round|>]
问：解释 QKV
答：

[Round <|round|>]
问题：解释 QKV
答案：

问题：解释 QKV
答案：

框架版本

• Transformers 4.35.2 - UNA
• Pytorch 2.1.0
• Datasets 2.14.6
• Tokenizers 0.14.1

引用信息

如果你发现 Xaberius、Cybertron、Juanako 或我们的任何模型有用，特别是当你将其用于大品牌项目或进行克隆、合并、SLERP 操作时，请引用以下内容：

@misc{unaxaberius34b,
  title={Xaberius 34B: Uniform Neural Alignment}, 
  author={Xavier Murias},
  year={2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/fblgit/una-xaberius-34b-v1beta}},
}

致谢

感谢 LoneStriker 提供的高质量 ExLLama2 模型，它们运行良好。同时，非常感谢 Yi - 34b 团队提供的出色模型，UNA 的效果很大程度上依赖于其预训练模型。

🔧 技术细节

本模型在多个数据集上进行训练，包括：

• fblgit/tree - of - knowledge
• garage - bAInd/Open - Platypus
• allenai/ultrafeedback_binarized_cleaned
• Open - Orca/OpenOrca

以下是模型在不同数据集上的评估结果：

详细结果可查看 此处 。

评估结果对比

📄 许可证

本模型采用 CC - BY - NC - ND - 4.0 许可证。