くの一 - DPO - v2 - 7B - GGUF - Imatrixオープンソース大規模言語モデル - 優れた性能で多様な質問応答アプリケーションをサポート

ホーム

Kunoichi DPO V2 7B GGUF Imatrix

Lewdiculousによって開発

Mistralアーキテクチャに基づく7Bパラメータの大規模言語モデルで、DPO(直接選好最適化)でトレーニングされ、多くのベンチマークテストで優れたパフォーマンスを発揮

大規模言語モデル #高精度テキスト生成 #低リソース推論最適化 #多分野ベンチマークリーダー

ダウンロード数 3,705

リリース時間 : 2/27/2024

モデル概要

直接選好最適化(DPO)でトレーニングされた7Bパラメータの大規模言語モデルで、対話生成、論理的推論などのタスクで優れたパフォーマンスを発揮し、テキスト生成タスクをサポート

モデル特徴

直接選好最適化(DPO)

DPOトレーニング手法を採用し、モデルが人間の選好をより理解し、ニーズに合ったテキストを生成できるようにする

高性能量子化

GGUF-Imatrix量子化バージョンを提供し、重要度マトリックス技術により量子化後のモデル性能を維持

多ベンチマークリーダー

MT Bench、EQ Benchなどの複数のベンチマークテストで同クラスの7Bモデルを超え、一部の大規模モデルに近いパフォーマンスを発揮

モデル能力

テキスト生成

対話システム

論理的推論

知識質問応答

使用事例

対話システム

インテリジェントアシスタント

高性能対話アシスタントの構築に使用

AlpacaEval2テストで17.19%の勝率を達成し、Claude 2とGPT-3.5 Turboを上回った

知識質問応答

オープンドメインQA

様々な知識質問に回答

MMLUテストで64.94点を獲得し、同クラスの7Bモデルを上回った

🚀 [SanjiWatsuki/Kunoichi-DPO-v2-7BのGGUF-Imatrix量子化]

このプロジェクトは、SanjiWatsuki/Kunoichi-DPO-v2-7BモデルのGGUF-Imatrix量子化を提供します。Imatrix技術を用いることで、量子化モデルの品質向上を目指しています。

🚀 クイックスタート

このGGUF-Imatrix量子化モデルは、SanjiWatsuki/Kunoichi-DPO-v2-7Bベースのモデルです。以下の情報を参考に、モデルを利用することができます。

モデル情報

Property	Details
ベースモデル	SanjiWatsuki/Kunoichi-DPO-v2-7B
ライブラリ名	transformers
タグ	mistral, quantized, text-generation-inference
パイプラインタグ	text-generation
推論	false
ライセンス	cc-by-nc-4.0

サポート情報

⚠️ 重要なお知らせ

最近、アップロード速度が不安定になっています。現実的には、より良いプロバイダーに移行する必要があります。もしあなたが可能であれば、こちらから私の活動をサポートすることができます (Ko-fi)。 皆様のご体験を損なって申し訳ありません。

✨ 主な機能

"Imatrix"とは何ですか？

ImatrixはImportance Matrixの略で、量子化モデルの品質を向上させるために使用される技術です。

Imatrixはキャリブレーションデータに基づいて計算され、量子化プロセス中に異なるモデルのアクティベーションの重要性を判断するのに役立ちます。量子化中に最も重要な情報を保持することで、モデルの性能低下を軽減することができます。

Imatrixを使用する利点の1つは、キャリブレーションデータが多様な場合、特にモデルの性能を向上させることができることです。

詳細情報: [1] [2]

特定の量子化を追加して欲しい場合は、自由にお問い合わせください。

すべてのクレジットは作成者に帰属します。

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

使用ライブラリ

llama.cpp-b2277を使用しています。

--imatrixデータには、imatrix-Kunoichi-DPO-v2-7B-F16.datが使用されています。

📚 ドキュメント

ワイフカード

image/png

元のモデル情報

各種ベンチマーク結果

モデル	MT Bench	EQ Bench	MMLU	論理テスト
GPT-4-Turbo	9.32	-	-	-
GPT-4	8.99	62.52	86.4	0.86
Kunoichi-DPO-v2-7B	8.51	42.18	64.94	0.58
Mixtral-8x7B-Instruct	8.30	44.81	70.6	0.75
Kunoichi-DPO-7B	8.29	41.60	64.83	0.59
Kunoichi-7B	8.14	44.32	64.9	0.58
Starling-7B	8.09	-	63.9	0.51
Claude-2	8.06	52.14	78.5	-
Silicon-Maid-7B	7.96	40.44	64.7	0.54
Loyal-Macaroni-Maid-7B	7.95	38.66	64.9	0.57
GPT-3.5-Turbo	7.94	50.28	70	0.57
Claude-1	7.9	-	77	-
Openchat-3.5	7.81	37.08	64.3	0.39
Dolphin-2.6-DPO	7.74	42.88	61.9	0.53
Zephyr-7B-beta	7.34	38.71	61.4	0.30
Llama-2-70b-chat-hf	6.86	51.56	63	-
Neural-chat-7b-v3-1	6.84	43.61	62.4	0.30

モデル	平均	AGIEval	GPT4All	TruthfulQA	Bigbench
Kunoichi-DPO-7B	58.4	45.08	74	66.99	47.52
Kunoichi-DPO-v2-7B	58.31	44.85	75.05	65.69	47.65
Kunoichi-7B	57.54	44.99	74.86	63.72	46.58
OpenPipe/mistral-ft-optimized-1218	56.85	44.74	75.6	59.89	47.17
Silicon-Maid-7B	56.45	44.74	74.26	61.5	45.32
mlabonne/NeuralHermes-2.5-Mistral-7B	53.51	43.67	73.24	55.37	41.76
teknium/OpenHermes-2.5-Mistral-7B	52.42	42.75	72.99	52.99	40.94
openchat/openchat_3.5	51.34	42.67	72.92	47.27	42.51
berkeley-nest/Starling-LM-7B-alpha	51.16	42.06	72.72	47.33	42.53
HuggingFaceH4/zephyr-7b-beta	50.99	37.33	71.83	55.1	39.7

AlpacaEval2と長さに関する情報

モデル	AlpacaEval2	長さ
GPT-4	23.58%	1365
GPT-4 0314	22.07%	1371
Mistral Medium	21.86%	1500
Mixtral 8x7B v0.1	18.26%	1465
Kunoichi-DPO-v2	17.19%	1785
Claude 2	17.19%	1069
Claude	16.99%	1082
Gemini Pro	16.85%	1315
GPT-4 0613	15.76%	1140
Claude 2.1	15.73%	1096
Mistral 7B v0.2	14.72%	1676
GPT 3.5 Turbo 0613	14.13%	1328
LLaMA2 Chat 70B	13.87%	1790
LMCocktail-10.7B-v1	13.15%	1203
WizardLM 13B V1.1	11.23%	1525
Zephyr 7B Beta	10.99%	1444
OpenHermes-2.5-Mistral (7B)	10.34%	1107
GPT 3.5 Turbo 0301	9.62%	827
Kunoichi-7B	9.38%	1492
GPT 3.5 Turbo 1106	9.18%	796
GPT-3.5	8.56%	1018
Phi-2 DPO	7.76%	1687
LLaMA2 Chat 13B	7.70%	1513