オルソゴナル - 2x7B - v2 - baseオープンソーステキスト生成モデル - 無料デプロイで多彩なテキスト創作をサポート

ホーム

Orthogonal 2x7B V2 Base

LoSboccaccによって開発

orthogonal-2x7B-v2-baseは、Mistral-7B-Instruct-v0.2とSanjiWatsuki/Kunoichi-DPO-v2-7Bを基にした混合専門家モデルで、テキスト生成タスクに特化しています。

大規模言語モデル

Transformers

#マルチタスク推論 #少数サンプル学習 #ロールプレイ最適化

ダウンロード数 80

リリース時間 : 1/18/2024

モデル概要

このモデルは、ロールプレイとチャットタスクにそれぞれ特化した2つの専門家モデルの能力を組み合わせ、ゲーティングメカニズムによって動的に最適な専門家モデルを選択してテキスト生成を行います。

モデル特徴

混合専門家アーキテクチャ

2つの7Bパラメータモデルの能力を組み合わせ、ゲーティングメカニズムで動的に最適な専門家モデルを選択します。

マルチタスク最適化

ロールプレイやチャットなど異なるタスクに特化した専門家モデルを使用することで、生成品質を向上させます。

効率的な推論

単一の大規模モデルと比較し、性能を維持しながら推論効率を向上させます。

モデル能力

テキスト生成

対話システム

ロールプレイ

質問応答システム

推論タスク

使用事例

対話システム

インテリジェントチャットアシスタント

自然で流暢な対話システムの構築に使用

HellaSwagデータセットで85.69%の精度を達成

教育

科学質問応答システム

科学関連の質問に回答

AI2推論チャレンジで66.89%の精度を達成

数学推論

数学問題解答

基礎的な数学問題を解決

GSM8kデータセットで51.4%の精度を達成

🚀 orthogonal-2x7B-v2-base

orthogonal-2x7B-v2-baseは、テキスト生成タスクに特化したモデルです。複数のデータセットで評価され、一定の精度を示しています。

📚 ドキュメント

モデル情報

属性	詳細
ベースモデル	mistralai/Mistral-7B-Instruct-v0.2
ゲートモード	hidden（"hidden", "cheap_embed", または "random" のいずれか）
データ型	bfloat16（出力データ型：float32, float16, または bfloat16）

エキスパートモデル

ソースモデル	ポジティブプロンプト
SanjiWatsuki/Kunoichi-DPO-v2-7B	"roleplay"
mistralai/Mistral-7B-Instruct-v0.2	"chat"

評価結果

Open LLM Leaderboard評価結果詳細な結果はこちらで確認できます。

メトリック	値
平均	68.47
AI2 Reasoning Challenge (25-Shot)	66.89
HellaSwag (10-Shot)	85.69
MMLU (5-Shot)	62.65
TruthfulQA (0-shot)	66.80
Winogrande (5-shot)	77.35
GSM8k (5-shot)	51.40

各タスクの詳細結果

AI2 Reasoning Challenge (25-Shot)

タスクタイプ: テキスト生成
データセット: AI2 Reasoning Challenge (25-Shot)（タイプ: ai2_arc, 設定: ARC-Challenge, 分割: test, 少ショット数: 25）
メトリック: 正規化精度（acc_norm）= 66.89
ソース: Open LLM Leaderboard

HellaSwag (10-Shot)

タスクタイプ: テキスト生成
データセット: HellaSwag (10-Shot)（タイプ: hellaswag, 分割: validation, 少ショット数: 10）
メトリック: 正規化精度（acc_norm）= 85.69
ソース: Open LLM Leaderboard

MMLU (5-Shot)

タスクタイプ: テキスト生成
データセット: MMLU (5-Shot)（タイプ: cais/mmlu, 設定: all, 分割: test, 少ショット数: 5）
メトリック: 精度（acc）= 62.65
ソース: Open LLM Leaderboard

TruthfulQA (0-shot)

タスクタイプ: テキスト生成
データセット: TruthfulQA (0-shot)（タイプ: truthful_qa, 設定: multiple_choice, 分割: validation, 少ショット数: 0）
メトリック: mc2 = 66.8
ソース: Open LLM Leaderboard

Winogrande (5-shot)

タスクタイプ: テキスト生成
データセット: Winogrande (5-shot)（タイプ: winogrande, 設定: winogrande_xl, 分割: validation, 少ショット数: 5）
メトリック: 精度（acc）= 77.35
ソース: Open LLM Leaderboard