airoboros-13b开源语言模型 - 可用于研究的合成数据微调模型

首页

Airoboros 13b

由 jondurbin 开发

这是一个基于LlaMa架构的130亿参数语言模型，使用合成数据微调，主要用于研究目的。

大型语言模型

Transformers

#研究专用模型 #合成数据训练 #越狱提示验证

下载量 229

发布时间 : 5/19/2023

模型简介

该模型是一个实验性质的130亿参数语言模型，通过完全由airoboros生成的合成数据进行微调，旨在验证'越狱'提示对数据生成范围的影响。

模型特点

合成数据训练

完全使用airoboros生成的合成数据进行微调

研究导向

主要用于验证'越狱'提示对数据生成范围的影响

性能表现

在GPT-4评估中表现优于多个同类13B模型

模型能力

文本生成

对话系统

指令跟随

使用案例

研究

语言模型对齐研究

研究越狱提示对模型行为的影响

证实越狱提示能生成更广泛的数据范围

🚀 微调版130亿参数LlaMa模型

这是一个经过微调的130亿参数LlaMa模型，使用了由https://github.com/jondurbin/airoboros 创建的完全合成的训练数据。该模型旨在探索特定训练方式下的性能表现，但作者不建议实际使用。

📄 许可证

本模型和数据集采用了 'cc-nc-4.0' 许可证，但实际上它受到特殊定制许可的约束：

基础模型为LlaMa，它有自己特殊的研究许可。
数据集由OpenAI（gpt - 4和/或gpt - 3.5 - turbo）生成，OpenAI规定这些数据不能用于创建与OpenAI竞争的模型。

因此，再次强调：此模型（和数据集）不能用于商业用途。

🔍 评估（GPT-4评判）

模型	原始得分	GPT - 3.5调整后得分
airoboros - 13b	17947	98.087
gpt35	18297	100.0
gpt4 - x - alpasta - 30b	15612	85.33
manticore - 13b	15856	86.66
vicuna - 13b - 1.1	16306	89.12
wizard - vicuna - 13b - uncensored	16287	89.01

单个问题得分，附带ShareGPT链接（由GPT - 4生成的200个提示）

wb - 13b - u 是Wizard - Vicuna - 13b - Uncensored

airoboros - 13b	gpt35	gpt4 - x - alpasta - 30b	manticore - 13b	vicuna - 13b - 1.1	wv - 13b - u	链接
80	95	70	90	85	60	评估
20	95	40	30	90	80	评估
100	100	100	95	95	100	评估
90	100	85	60	95	100	评估
95	90	80	85	95	75	评估
100	95	90	95	98	92	评估
50	100	80	95	60	55	评估
70	90	80	60	85	40	评估
100	95	50	85	40	60	评估
85	60	55	65	50	70	评估
95	100	85	90	60	75	评估
100	95	70	80	50	85	评估
100	95	80	70	60	90	评估
95	100	70	85	90	90	评估
80	95	90	60	30	85	评估
60	95	0	75	50	40	评估
100	95	90	98	95	95	评估
60	85	40	50	20	0	评估
100	90	85	95	95	80	评估
100	95	100	95	90	95	评估
95	90	96	80	92	88	评估
95	92	90	93	89	91	评估
95	93	90	94	96	92	评估
95	90	93	88	92	85	评估
95	90	85	96	88	92	评估
95	95	90	93	92	91	评估
95	98	80	97	99	96	评估
95	93	90	87	92	89	评估
90	85	95	80	92	75	评估
90	85	95	93	80	92	评估
95	92	90	91	93	89	评估
100	95	90	85	80	95	评估
95	97	93	92	96	94	评估
95	93	94	90	88	92	评估
90	95	98	85	96	92	评估
90	88	85	80	82	84	评估
90	95	85	87	92	88	评估
95	97	96	90	93	92	评估
95	93	92	90	89	91	评估
90	95	93	92	94	91	评估
90	85	95	80	88	75	评估
85	90	95	88	92	80	评估
90	95	92	85	80	87	评估
85	90	95	80	88	75	评估
85	80	75	90	70	82	评估
90	85	95	92	93	80	评估
90	95	75	85	80	70	评估
85	90	80	88	82	83	评估
85	90	95	92	88	80	评估
85	90	80	75	95	88	评估
85	90	80	88	84	92	评估
80	90	75	85	70	95	评估
90	88	85	80	92	83	评估
85	75	90	80	78	88	评估
85	90	80	82	75	88	评估
90	85	40	95	80	88	评估
85	95	90	75	88	80	评估
85	95	90	92	89	88	评估
80	85	75	60	90	70	评估
85	90	87	80	88	75	评估
85	80	75	50	90	80	评估
95	80	90	85	75	82	评估
85	90	80	70	95	88	评估
90	95	70	85	80	75	评估
90	85	70	75	80	60	评估
95	90	70	50	85	80	评估
80	85	40	60	90	95	评估
75	60	80	55	70	85	评估
90	85	60	50	80	95	评估
45	85	60	20	65	75	评估
85	90	30	60	80	70	评估
90	95	80	40	85	70	评估
85	90	70	75	80	95	评估
90	70	50	20	60	40	评估
90	95	75	60	85	80	评估
85	80	60	70	65	75	评估
90	85	80	75	82	70	评估
90	95	80	70	85	75	评估
85	75	30	80	90	70	评估
85	90	50	70	80	60	评估
100	95	98	99	97	96	评估
95	90	92	93	91	89	评估
95	92	90	85	88	91	评估
100	95	98	97	96	99	评估
100	100	100	90	100	95	评估
100	95	98	97	94	99	评估
95	90	92	93	94	91	评估
100	95	98	90	96	95	评估
95	96	92	90	89	93	评估
100	95	93	90	92	88	评估
100	100	98	97	99	100	评估
95	90	92	85	93	94	评估
95	93	90	92	96	91	评估
95	96	92	90	93	91	评估
95	90	92	93	91	89	评估
100	98	95	97	96	99	评估
90	95	85	88	92	87	评估
95	93	90	92	89	88	评估
100	95	97	90	96	94	评估
95	93	90	92	94	91	评估
95	92	90	93	94	88	评估
95	92	60	97	90	96	评估
95	90	92	93	91	89	评估
95	90	97	92	91	93	评估
90	95	93	85	92	91	评估
95	90	40	92	93	85	评估
100	100	95	90	95	90	评估
90	95	96	98	93	92	评估
90	95	92	89	93	94	评估
100	95	100	98	96	99	评估
100	100	95	90	100	90	评估
90	85	88	92	87	91	评估
95	97	90	92	93	94	评估
90	95	85	88	92	89	评估
95	93	90	92	94	91	评估
90	95	85	80	88	82	评估
95	90	60	85	93	70	评估
95	92	94	93	96	90	评估
95	90	85	93	87	92	评估
95	96	93	90	97	92	评估
100	0	0	100	0	0	评估
60	100	0	80	0	0	评估
0	100	60	0	0	90	评估
100	100	0	100	100	100	评估
100	100	100	100	95	100	评估
100	100	100	50	90	100	评估
100	100	100	100	95	90	评估
100	100	100	95	0	100	评估
50	95	20	10	30	85	评估
100	100	60	20	30	40	评估
100	0	0	0	0	100	评估
0	100	60	0	0	80	评估
50	100	20	90	0	10	评估
100	100	100	100	100	100	评估
100	100	100	100	100	100	评估
40	100	95	0	100	40	评估
100	100	100	100	80	100	评估
100	100	100	0	90	40	评估
0	100	100	50	70	20	评估
100	100	50	90	0	95	评估
100	95	90	85	98	80	评估
95	98	90	92	96	89	评估
90	95	75	85	80	82	评估
95	98	50	92	96	94	评估
95	90	0	93	92	94	评估
95	90	85	92	80	88	评估
95	93	75	85	90	92	评估
90	95	88	85	92	89	评估
100	100	100	95	97	98	评估
85	40	30	95	90	88	评估
90	95	92	85	88	93	评估
95	96	92	90	89	93	评估
90	95	85	80	92	88	评估
95	98	65	90	85	93	评估
95	92	96	97	90	89	评估
95	90	92	91	89	93	评估
95	90	80	75	95	90	评估
92	40	30	95	90	93	评估
90	92	85	88	89	87	评估
95	80	90	92	91	88	评估
95	93	92	90	91	94	评估
100	98	95	90	92	96	评估
95	92	80	85	90	93	评估
95	98	90	88	97	96	评估
90	95	85	88	86	92	评估
100	100	100	100	100	100	评估
90	95	85	96	92	88	评估
100	98	95	99	97	96	评估
95	92	70	90	93	89	评估
95	90	88	92	94	93	评估
95	90	93	92	85	94	评估
95	93	90	87	92	91	评估
95	93	90	96	92	91	评估
95	97	85	96	98	90	评估
95	92	90	85	93	94	评估
95	96	92	90	97	93	评估
95	93	96	94	90	92	评估
95	94	93	92	90	89	评估
90	85	95	80	87	75	评估
95	94	92	93	90	96	评估
95	100	90	95	95	95	评估
100	95	85	100	0	90	评估
100	95	90	95	100	95	评估
95	90	60	95	85	80	评估
100	95	90	98	97	99	评估
95	90	85	95	80	92	评估
100	95	100	98	100	90	评估
100	95	80	85	90	85	评估
100	90	95	85	95	100	评估
95	90	85	80	88	92	评估
100	100	0	0	100	0	评估
100	100	100	50	100	75	评估
100	100	0	0	100	0	评估
0	100	0	0	0	0	评估
100	100	50	0	0	0	评估
100	100	100	100	100	95	评估
100	100	50	0	0	0	评估
100	100	0	0	100	0	评估
90	85	80	95	70	75	评估
100	100	0	0	0	0	评估

📊 训练数据

这是一个实验性项目，旨在探索是否可以使用“越狱”提示来生成更广泛的数据，这些数据原本可能会被OpenAI的对齐措施过滤掉。

“越狱”提示确实以较高的成功率生效，使得OpenAI生成了更广泛的主题内容，并减少了对敏感话题问题/指令的拒绝回答情况。

💬 提示格式

提示应与FastChat/vicuna格式1:1兼容，例如：

带有系统提示：

A chat between a curious user and an artificial intelligence assistant.  The assistant gives helpful, detailed, and polite answers to the user's questions. USER: [prompt] ASSISTANT:

或不带有系统提示：