Kunoichi-DPO-v2-7B-GGUF-Imatrix開源大語言模型 - 性能優異支持多樣問答應用

首頁

Kunoichi DPO V2 7B GGUF Imatrix

由Lewdiculous開發

基於Mistral架構的7B參數大語言模型，採用DPO(直接偏好優化)訓練，在多項基準測試中表現優異

大型語言模型 #高精度文本生成 #低資源推理優化 #多領域基準領先

下載量 3,705

發布時間 : 2/27/2024

模型概述

一個經過直接偏好優化(DPO)訓練的7B參數大語言模型，在對話生成、邏輯推理等任務上表現突出，支持文本生成任務

模型特點

直接偏好優化(DPO)

採用DPO訓練方法，使模型能更好地理解人類偏好，生成更符合需求的文本

高性能量化

提供GGUF-Imatrix量化版本，通過重要性矩陣技術保持量化後的模型性能

多基準測試領先

在MT Bench、EQ Bench等多個基準測試中超越同類7B模型，接近部分大模型表現

模型能力

文本生成

對話系統

邏輯推理

知識問答

使用案例

對話系統

智能助手

用於構建高性能對話助手

在AlpacaEval2測試中達到17.19%勝率，超過Claude 2和GPT-3.5 Turbo

知識問答

開放域問答

回答各類知識性問題

在MMLU測試中獲得64.94分，超過同類7B模型

🚀 [SanjiWatsuki/Kunoichi-DPO-v2-7B]的GGUF-Imatrix量化

本項目提供了SanjiWatsuki/Kunoichi-DPO-v2-7B模型的GGUF-Imatrix量化版本。通過使用Importance Matrix技術，提升了量化模型的質量，減少了模型性能的損失。

🚀 快速開始

本項目使用 llama.cpp-b2277 進行處理，對於 --imatrix 數據，使用了 imatrix-Kunoichi-DPO-v2-7B-F16.dat。

✨ 主要特性

“Imatrix” 含義

“Imatrix” 代表 Importance Matrix，這是一種用於提高量化模型質量的技術。Imatrix 基於校準數據計算得出，它有助於在量化過程中確定不同模型激活的重要性。其核心思想是在量化過程中保留最重要的信息，從而減少模型性能的損失。使用 Imatrix 的好處之一是可以提高模型性能，特別是在校準數據多樣化的情況下。

更多信息可參考：[1] [2]

量化流程

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

支持說明

⚠️ 重要提示

最近我的上傳速度很慢且不穩定，實際上我需要更換網絡服務提供商來改善這種情況。如果您願意並且有能力支持我的工作，可以通過這裡（Ko-fi）支持我。對於給您帶來的不便，我深表歉意。

📚 詳細文檔

原模型信息

模型性能對比表1

模型	MT Bench	EQ Bench	MMLU	Logic Test
GPT-4-Turbo	9.32	-	-	-
GPT-4	8.99	62.52	86.4	0.86
Kunoichi-DPO-v2-7B	8.51	42.18	64.94	0.58
Mixtral-8x7B-Instruct	8.30	44.81	70.6	0.75
Kunoichi-DPO-7B	8.29	41.60	64.83	0.59
Kunoichi-7B	8.14	44.32	64.9	0.58
Starling-7B	8.09	-	63.9	0.51
Claude-2	8.06	52.14	78.5	-
Silicon-Maid-7B	7.96	40.44	64.7	0.54
Loyal-Macaroni-Maid-7B	7.95	38.66	64.9	0.57
GPT-3.5-Turbo	7.94	50.28	70	0.57
Claude-1	7.9	-	77	-
Openchat-3.5	7.81	37.08	64.3	0.39
Dolphin-2.6-DPO	7.74	42.88	61.9	0.53
Zephyr-7B-beta	7.34	38.71	61.4	0.30
Llama-2-70b-chat-hf	6.86	51.56	63	-
Neural-chat-7b-v3-1	6.84	43.61	62.4	0.30

模型性能對比表2

模型	Average	AGIEval	GPT4All	TruthfulQA	Bigbench
Kunoichi-DPO-7B	58.4	45.08	74	66.99	47.52
Kunoichi-DPO-v2-7B	58.31	44.85	75.05	65.69	47.65
Kunoichi-7B	57.54	44.99	74.86	63.72	46.58
OpenPipe/mistral-ft-optimized-1218	56.85	44.74	75.6	59.89	47.17
Silicon-Maid-7B	56.45	44.74	74.26	61.5	45.32
mlabonne/NeuralHermes-2.5-Mistral-7B	53.51	43.67	73.24	55.37	41.76
teknium/OpenHermes-2.5-Mistral-7B	52.42	42.75	72.99	52.99	40.94
openchat/openchat_3.5	51.34	42.67	72.92	47.27	42.51
berkeley-nest/Starling-LM-7B-alpha	51.16	42.06	72.72	47.33	42.53
HuggingFaceH4/zephyr-7b-beta	50.99	37.33	71.83	55.1	39.7

模型性能對比表3

模型	AlpacaEval2	Length
GPT-4	23.58%	1365
GPT-4 0314	22.07%	1371
Mistral Medium	21.86%	1500
Mixtral 8x7B v0.1	18.26%	1465
Kunoichi-DPO-v2	17.19%	1785
Claude 2	17.19%	1069
Claude	16.99%	1082
Gemini Pro	16.85%	1315
GPT-4 0613	15.76%	1140
Claude 2.1	15.73%	1096
Mistral 7B v0.2	14.72%	1676
GPT 3.5 Turbo 0613	14.13%	1328
LLaMA2 Chat 70B	13.87%	1790
LMCocktail-10.7B-v1	13.15%	1203
WizardLM 13B V1.1	11.23%	1525
Zephyr 7B Beta	10.99%	1444
OpenHermes-2.5-Mistral (7B)	10.34%	1107
GPT 3.5 Turbo 0301	9.62%	827
Kunoichi-7B	9.38%	1492
GPT 3.5 Turbo 1106	9.18%	796
GPT-3.5	8.56%	1018
Phi-2 DPO	7.76%	1687
LLaMA2 Chat 13B	7.70%	1513