くの一DPO - v2 - 7Bオープンソース大規模言語モデル - 複数のテストで良好な性能を発揮し、多様なテキストアプリケーションをサポート

Kunoichi DPO V2 7B

SanjiWatsukiによって開発

Kunoichi-DPO-v2-7BはMistralアーキテクチャを基にした70億パラメータの大規模言語モデルで、DPO（Direct Preference Optimization）を用いて最適化訓練されており、複数のベンチマークテストで優れた性能を発揮しています。

ダウンロード数 185

リリース時間 : 1/13/2024

モデル概要

このモデルは最適化された対話型言語モデルで、高品質なテキスト生成と理解能力に特化しており、様々な自然言語処理タスクに適しています。

DPO最適化訓練

Direct Preference Optimization手法を用いた最適化訓練により、モデルの対話品質と一貫性が向上しています

高性能

MT Bench、EQ Benchなどの複数のベンチマークテストで優れた成績を収め、同規模の70億パラメータモデルを凌駕しています

多機能性

テキスト生成、質問応答、対話システムなど、様々な自然言語処理タスクをサポートしています

テキスト生成

対話システム

質問応答システム

論理的推論

知識質問応答

インテリジェントアシスタント

仮想カスタマーサービス

カスタマーサービスシナリオ向けの自動質問応答システム

正確で一貫性のあるカスタマーサービス応答を提供可能

教育

学習サポート

学生の学習質問に回答

MMLUなどの知識テストで良好な成績

この文書では、Kunoichiシリーズのモデルを含む様々な言語モデルの評価結果を示しています。各モデルは複数のベンチマークテストで評価され、その性能が比較されています。

モデル	MT Bench	EQ Bench	MMLU	Logic Test
GPT-4-Turbo	9.32	-	-	-
GPT-4	8.99	62.52	86.4	0.86
Kunoichi-DPO-v2-7B	8.51	42.18	64.94	0.58
Mixtral-8x7B-Instruct	8.30	44.81	70.6	0.75
Kunoichi-DPO-7B	8.29	41.60	64.83	0.59
Kunoichi-7B	8.14	44.32	64.9	0.58
Starling-7B	8.09	-	63.9	0.51
Claude-2	8.06	52.14	78.5	-
Silicon-Maid-7B	7.96	40.44	64.7	0.54
Loyal-Macaroni-Maid-7B	7.95	38.66	64.9	0.57
GPT-3.5-Turbo	7.94	50.28	70	0.57
Claude-1	7.9	-	77	-
Openchat-3.5	7.81	37.08	64.3	0.39
Dolphin-2.6-DPO	7.74	42.88	61.9	0.53
Zephyr-7B-beta	7.34	38.71	61.4	0.30
Llama-2-70b-chat-hf	6.86	51.56	63	-
Neural-chat-7b-v3-1	6.84	43.61	62.4	0.30

モデル	Average	AGIEval	GPT4All	TruthfulQA	Bigbench
Kunoichi-DPO-7B	58.4	45.08	74	66.99	47.52
Kunoichi-DPO-v2-7B	58.31	44.85	75.05	65.69	47.65
Kunoichi-7B	57.54	44.99	74.86	63.72	46.58
OpenPipe/mistral-ft-optimized-1218	56.85	44.74	75.6	59.89	47.17
Silicon-Maid-7B	56.45	44.74	74.26	61.5	45.32
mlabonne/NeuralHermes-2.5-Mistral-7B	53.51	43.67	73.24	55.37	41.76
teknium/OpenHermes-2.5-Mistral-7B	52.42	42.75	72.99	52.99	40.94
openchat/openchat_3.5	51.34	42.67	72.92	47.27	42.51
berkeley-nest/Starling-LM-7B-alpha	51.16	42.06	72.72	47.33	42.53
HuggingFaceH4/zephyr-7b-beta	50.99	37.33	71.83	55.1	39.7