CollectiveCognition-v1.1-Mistral-7B开源对话模型 - 免费部署，问答测试表现佳

首页

Collectivecognition V1.1 Mistral 7B

由 teknium 开发

基于Mistral-7B微调的高效对话模型，在TruthfulQA基准测试中表现优异

大型语言模型

Transformers

英语开源协议:Apache-2.0 #高效微调 #TruthfulQA领先 #小样本优化

下载量 63

发布时间 : 10/4/2023

模型简介

采用Mistral方法微调的先进对话模型，特别擅长识别和纠正常见误解，在TruthfulQA基准测试中媲美70B规模模型

模型特点

高效训练

仅需3分钟在单张4090显卡上通过qlora完成训练

小数据高效

仅使用100条样本数据训练即达到卓越性能

TruthfulQA表现优异

在TruthfulQA基准测试中超越多款70B规模模型

低成本部署

7B参数规模适合资源有限环境部署

模型能力

对话生成

问答系统

误解识别

知识纠错

使用案例

教育

知识问答系统

用于教育场景下的智能问答

能够准确识别和纠正常见知识误解

客服

智能客服对话

提供高效的客户服务对话支持

🚀 集体认知 v1.1 - Mistral 7B

集体认知 v1.1 - Mistral 7B 是一款基于Mistral方法微调的先进模型，在TruthfulQA基准测试中表现出色，超越了许多70B模型，展现出强大的纠错和理解能力。

🔍 模型信息

属性	详情
基础模型	mistralai/Mistral-7B-v0.1
标签	mistral-7b、instruct、finetune、gpt4、synthetic data、distillation、sharegpt
数据集	CollectiveCognition/chats-data-2023-09-27
模型名称	CollectiveCognition-v1-Mistral-7B
许可证	apache-2.0

🚀 快速开始

提示格式

USER: <提示内容>
ASSISTANT:

或者

<系统消息>
USER: <提示内容>
ASSISTANT:

✨ 主要特性

⚡ 快速训练：该模型仅用3分钟，在单张4090显卡上使用qlora完成训练，在TruthfulQA基准测试中可与70B规模的Llama - 2模型相媲美。
📉 数据有限：尽管表现卓越，但它仅在一百个数据点上进行训练，这些数据均来自类似ShareGPT的平台。
🌟 极致的TruthfulQA基准测试表现：尽管数据集小且采用qlora训练，该模型在TruthfulQA基准测试中仍能与顶级70B模型激烈竞争。

image/png

📚 详细文档

数据集

该模型使用来自集体认知网站的数据进行训练。模型的出色表现证明了该数据集的有效性，这表明进一步扩展该数据集可能会产生更有前景的结果。这些数据类似于从ShareGPT等平台收集的数据。

你可以通过此处分享自己的ChatGPT聊天记录，为数据集的增长做出贡献。

你可以从以下链接下载集体认知创建的数据集：https://huggingface.co/CollectiveCognition

性能

TruthfulQA：集体认知 v1.1 在TruthfulQA基准测试中显著超越了各种70B模型，凸显了其理解和纠正常见误解的能力。

基准测试

集体认知 v1.0 TruthfulQA

|    任务     | 版本 | 指标 | 值  |   | 标准误差 |
|-------------|------:|------|-----:|---|-----:|
| truthfulqa_mc |      1 | mc1   | 0.4051 | ±  | 0.0172 |
|             |       | mc2   | 0.5738 | ±  | 0.0157 |

集体认知 v1.1 GPT4All

|    任务     | 版本 | 指标 | 值  |   | 标准误差 |
|-------------|------:|--------|-----:|---|-----:|
| arc_challenge |      0 | acc     | 0.5085 | ±  | 0.0146 |
|             |       | acc_norm | 0.5384 | ±  | 0.0146 |
| arc_easy     |      0 | acc     | 0.7963 | ±  | 0.0083 |
|             |       | acc_norm | 0.7668 | ±  | 0.0087 |
| boolq        |      1 | acc     | 0.8495 | ±  | 0.0063 |
| hellaswag    |      0 | acc     | 0.6399 | ±  | 0.0048 |
|             |       | acc_norm | 0.8247 | ±  | 0.0038 |
| openbookqa   |      0 | acc     | 0.3240 | ±  | 0.0210 |
|             |       | acc_norm | 0.4540 | ±  | 0.0223 |
| piqa         |      0 | acc     | 0.7992 | ±  | 0.0093 |
|             |       | acc_norm | 0.8107 | ±  | 0.0091 |
| winogrande   |      0 | acc     | 0.7348 | ±  | 0.0124 |
平均: 71.13

AGIEval

|             任务             | 版本 | 指标 | 值  |   | 标准误差 |
|------------------------------|------:|--------|-----:|---|-----:|
| agieval_aqua_rat              |      0 | acc     | 0.1929 | ±  | 0.0248 |
|                              |       | acc_norm | 0.2008 | ±  | 0.0252 |
| agieval_logiqa_en             |      0 | acc     | 0.3134 | ±  | 0.0182 |
|                              |       | acc_norm | 0.3333 | ±  | 0.0185 |
| agieval_lsat_ar               |      0 | acc     | 0.2217 | ±  | 0.0275 |
|                              |       | acc_norm | 0.2043 | ±  | 0.0266 |
| agieval_lsat_lr               |      0 | acc     | 0.3412 | ±  | 0.0210 |
|                              |       | acc_norm | 0.3216 | ±  | 0.0207 |
| agieval_lsat_rc               |      0 | acc     | 0.4721 | ±  | 0.0305 |
|                              |       | acc_norm | 0.4201 | ±  | 0.0301 |
| agieval_sat_en                |      0 | acc     | 0.6068 | ±  | 0.0341 |
|                              |       | acc_norm | 0.5777 | ±  | 0.0345 |
| agieval_sat_en_without_passage |      0 | acc     | 0.3932 | ±  | 0.0341 |
|                              |       | acc_norm | 0.3641 | ±  | 0.0336 |
| agieval_sat_math              |      0 | acc     | 0.2864 | ±  | 0.0305 |
|                              |       | acc_norm | 0.2636 | ±  | 0.0298 |
平均: 33.57

训练运行记录可在以下链接查看：https://wandb.ai/teknium1/collectivecognition-mistral-7b/runs/collectivecognition-mistral-8/workspace