CollectiveCognition-v1.1-Mistral-7B開源對話模型 - 免費部署，問答測試表現佳

首頁

Collectivecognition V1.1 Mistral 7B

由teknium開發

基於Mistral-7B微調的高效對話模型，在TruthfulQA基準測試中表現優異

大型語言模型

Transformers

英語開源協議:Apache-2.0 #高效微調 #TruthfulQA領先 #小樣本優化

下載量 63

發布時間 : 10/4/2023

模型概述

採用Mistral方法微調的先進對話模型，特別擅長識別和糾正常見誤解，在TruthfulQA基準測試中媲美70B規模模型

模型特點

高效訓練

僅需3分鐘在單張4090顯卡上通過qlora完成訓練

小數據高效

僅使用100條樣本數據訓練即達到卓越性能

TruthfulQA表現優異

在TruthfulQA基準測試中超越多款70B規模模型

低成本部署

7B參數規模適合資源有限環境部署

模型能力

對話生成

問答系統

誤解識別

知識糾錯

使用案例

教育

知識問答系統

用於教育場景下的智能問答

能夠準確識別和糾正常見知識誤解

客服

智能客服對話

提供高效的客戶服務對話支持

🚀 集體認知 v1.1 - Mistral 7B

集體認知 v1.1 - Mistral 7B 是一款基於Mistral方法微調的先進模型，在TruthfulQA基準測試中表現出色，超越了許多70B模型，展現出強大的糾錯和理解能力。

🔍 模型信息

屬性	詳情
基礎模型	mistralai/Mistral-7B-v0.1
標籤	mistral-7b、instruct、finetune、gpt4、synthetic data、distillation、sharegpt
數據集	CollectiveCognition/chats-data-2023-09-27
模型名稱	CollectiveCognition-v1-Mistral-7B
許可證	apache-2.0

🚀 快速開始

提示格式

USER: <提示內容>
ASSISTANT:

或者

<系統消息>
USER: <提示內容>
ASSISTANT:

✨ 主要特性

⚡ 快速訓練：該模型僅用3分鐘，在單張4090顯卡上使用qlora完成訓練，在TruthfulQA基準測試中可與70B規模的Llama - 2模型相媲美。
📉 數據有限：儘管表現卓越，但它僅在一百個數據點上進行訓練，這些數據均來自類似ShareGPT的平臺。
🌟 極致的TruthfulQA基準測試表現：儘管數據集小且採用qlora訓練，該模型在TruthfulQA基準測試中仍能與頂級70B模型激烈競爭。

image/png

📚 詳細文檔

數據集

該模型使用來自集體認知網站的數據進行訓練。模型的出色表現證明了該數據集的有效性，這表明進一步擴展該數據集可能會產生更有前景的結果。這些數據類似於從ShareGPT等平臺收集的數據。

你可以通過此處分享自己的ChatGPT聊天記錄，為數據集的增長做出貢獻。

你可以從以下鏈接下載集體認知創建的數據集：https://huggingface.co/CollectiveCognition

性能

TruthfulQA：集體認知 v1.1 在TruthfulQA基準測試中顯著超越了各種70B模型，凸顯了其理解和糾正常見誤解的能力。

基準測試

集體認知 v1.0 TruthfulQA

|    任務     | 版本 | 指標 | 值  |   | 標準誤差 |
|-------------|------:|------|-----:|---|-----:|
| truthfulqa_mc |      1 | mc1   | 0.4051 | ±  | 0.0172 |
|             |       | mc2   | 0.5738 | ±  | 0.0157 |

集體認知 v1.1 GPT4All

|    任務     | 版本 | 指標 | 值  |   | 標準誤差 |
|-------------|------:|--------|-----:|---|-----:|
| arc_challenge |      0 | acc     | 0.5085 | ±  | 0.0146 |
|             |       | acc_norm | 0.5384 | ±  | 0.0146 |
| arc_easy     |      0 | acc     | 0.7963 | ±  | 0.0083 |
|             |       | acc_norm | 0.7668 | ±  | 0.0087 |
| boolq        |      1 | acc     | 0.8495 | ±  | 0.0063 |
| hellaswag    |      0 | acc     | 0.6399 | ±  | 0.0048 |
|             |       | acc_norm | 0.8247 | ±  | 0.0038 |
| openbookqa   |      0 | acc     | 0.3240 | ±  | 0.0210 |
|             |       | acc_norm | 0.4540 | ±  | 0.0223 |
| piqa         |      0 | acc     | 0.7992 | ±  | 0.0093 |
|             |       | acc_norm | 0.8107 | ±  | 0.0091 |
| winogrande   |      0 | acc     | 0.7348 | ±  | 0.0124 |
平均: 71.13

AGIEval

|             任務             | 版本 | 指標 | 值  |   | 標準誤差 |
|------------------------------|------:|--------|-----:|---|-----:|
| agieval_aqua_rat              |      0 | acc     | 0.1929 | ±  | 0.0248 |
|                              |       | acc_norm | 0.2008 | ±  | 0.0252 |
| agieval_logiqa_en             |      0 | acc     | 0.3134 | ±  | 0.0182 |
|                              |       | acc_norm | 0.3333 | ±  | 0.0185 |
| agieval_lsat_ar               |      0 | acc     | 0.2217 | ±  | 0.0275 |
|                              |       | acc_norm | 0.2043 | ±  | 0.0266 |
| agieval_lsat_lr               |      0 | acc     | 0.3412 | ±  | 0.0210 |
|                              |       | acc_norm | 0.3216 | ±  | 0.0207 |
| agieval_lsat_rc               |      0 | acc     | 0.4721 | ±  | 0.0305 |
|                              |       | acc_norm | 0.4201 | ±  | 0.0301 |
| agieval_sat_en                |      0 | acc     | 0.6068 | ±  | 0.0341 |
|                              |       | acc_norm | 0.5777 | ±  | 0.0345 |
| agieval_sat_en_without_passage |      0 | acc     | 0.3932 | ±  | 0.0341 |
|                              |       | acc_norm | 0.3641 | ±  | 0.0336 |
| agieval_sat_math              |      0 | acc     | 0.2864 | ±  | 0.0305 |
|                              |       | acc_norm | 0.2636 | ±  | 0.0298 |
平均: 33.57

訓練運行記錄可在以下鏈接查看：https://wandb.ai/teknium1/collectivecognition-mistral-7b/runs/collectivecognition-mistral-8/workspace