%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
JA
L3 Deluxe Scrambled Eggs On Toast 8B GGUF
36個のモデルを融合したロールプレイングモデルで、23の統合ステップを経て作成され、創造力とスマートさを兼ね備えています。
ダウンロード数 250
リリース時間 : 7/21/2024
モデル概要
このモデルは複数のLlama - 3バリアントモデルを統合し、ロールプレイングタスクに特化しており、創造力とスマートなパフォーマンスのバランスを目指しています。勾配法を使用してモデルの重み割り当てを最適化し、コアモデルの重み領域でスマートさを向上させ、残りの部分で創造力を強化します。
モデル特徴
多モデル融合
36個の異なるモデルの長所を統合し、23の統合ステップを経て最適化されます。
スマート - 創造力バランス
勾配法を使用して重みを割り当て、コア領域でスマートさを向上させ、外側の重みで創造力を強化します。
ロールプレイング最適化
ロールプレイングシーンに特化して設計されており、SillyTavernのプリセットの使用を推奨します。
モデル能力
ロールプレイング対話生成
創造的なテキスト執筆
指令追従
長文脈処理（2048トークンの使用を推奨）
使用事例
エンターテインメント
インタラクティブなロールプレイング
AIキャラクターとの没入型対話インタラクション
キャラクター設定に合った自然な応答を生成できます。
創造的な執筆
物語生成
クリエイターの幻想文学創作を支援
想像力に富んだ物語内容を提供します。
🚀 QuantFactory/L3-Deluxe-Scrambled-Eggs-On-Toast-8B-GGUF
これは、llama.cppを使用して作成されたCasual-Autopsy/L3-Deluxe-Scrambled-Eggs-On-Toast-8Bの量子化バージョンです。このプロジェクトの目的は、複数のモデルをマージすることで、創造性と知性を兼ね備えたロールプレイングモデルを構築することです。
🚀 クイックスタート
このプロジェクトは、複数のモデルをマージしたロールプレイングモデルです。以下の内容を参考にして、モデルの詳細情報をご確認ください。
✨ 主な機能
- 多モデル融合：36個のモデルを使用し、23回のマージステップを経て、複数のモデルの長所を融合しています。
- 創造性と知性の両立：勾配法を用いることで、モデルに創造性と高い知性を兼ね備えさせています。
📚 ドキュメント
オリジナルモデルカード
L3-Deluxe-Scrambled-Eggs-On-Toast-8B
L3-Deluxe-Scrambled-Eggs-On-Toast-8B はロールプレイングモデルで、36個のモデルを使用し、23回のマージステップを経て作成されました。目標は、勾配法を使って創造性と知性を兼ね備えたモデルを作成することです。各モデルは勾配内で独自の重み領域を持ち、知性を向上させる一方で、勾配内の他のモデルの重みは小さく設定され、創造性を促進しています。
以下のモデルがインスピレーションの源となりました：
- grimjim/kunoichi-lemon-royale-v3-32K-7B
- invisietch/EtherealRainbow-v0.3-8B
- PJMixers/LLaMa-3-CursedStock-v2.0-8B
命令形式
Llama 3
設定/プリセット
命令/コンテキスト
Virt-ioの SillyTavern Presets の使用をおすすめします。
サンプラー設定
以下は、より高い創造性を得るための現在推奨される設定です：
Top K: 60
Min P: 0.035
Rep Pen: 1.05
Rep Pen Range: 2048
Pres Pen: 0.15
Smoothing Factor: 0.25
Dyna Temp:
Min Temp: 0.75
Max Temp: 1.5
Expo: 0.85
現在、より高い遵守度のためのプリセットは知られていません。もし該当するプリセットがあれば、ぜひご提案ください！
量子化
- 重み付き量子化：mradermacher によって行われました。
- 静的量子化：mradermacher によって行われました。
レシピ
使用されたモデル
L3-Scrambled-Eggs-On-Toast-8B は、LazyMergekit を使用して以下のモデルをマージして作成されました：
- Sao10K/L3-8B-Stheno-v3.2
- ChaoticNeutrals/Poppy_Porpoise-1.0-L3-8B
- Nitral-AI/Hathor_Stable-v0.2-L3-8B
- NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
- Hastagaras/Jamet-8B-L3-MK.V-Blackroot
- openlynn/Llama-3-Soliloquy-8B-v2
- NousResearch/Meta-Llama-3-8B-Instruct
- turboderp/llama3-turbcat-instruct-8b
- VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
- TIGER-Lab/MAmmoTH2-8B-Plus
- jondurbin/bagel-8b-v1.0
- abacusai/Llama-3-Smaug-8B
- failspy/Meta-Llama-3-8B-Instruct-abliterated-v3
- AwanLLM/Awanllm-Llama-3-8B-Cumulus-v1.0
- lodrick-the-lafted/Limon-8B
- vicgalle/Configurable-Llama-3-8B-v0.3
- Undi95/Llama3-Unholy-8B-OAS
- Undi95/Unholy-8B-DPO-OAS
- WhiteRabbitNeo/Llama-3-WhiteRabbitNeo-8B-v2.0
- migtissera/Tess-2.0-Llama-3-8B
- defog/llama-3-sqlcoder-8b
- HPAI-BSC/Llama3-Aloe-8B-Alpha
- maldv/llama-3-fantasy-writer-8b
- lodrick-the-lafted/Olethros-8B
- Magpie-Align/Llama-3-8B-ShareGPT-112K
- Magpie-Align/Llama-3-8B-WildChat
- Magpie-Align/Llama-3-8B-Tulu-330K
- Magpie-Align/Llama-3-8B-OpenHermes-243K
- Magpie-Align/Llama-3-8B-WizardLM-196K
- Magpie-Align/Llama-3-8B-Ultrachat-200K
- refuelai/Llama-3-Refueled
- Danielbrdz/Barcenas-Llama3-8b-ORPO
- migtissera/Llama-3-8B-Synthia-v3.5
- chujiezheng/Llama-3-Instruct-8B-SimPO-ExPO
- chujiezheng/LLaMA3-iterative-DPO-final-ExPO
- chargoddard/prometheus-2-llama-3-8b
使用されたYAML設定
以下は、このモデルを作成するために使用されたYAML設定です：
Eggs-and-Bread-RP-pt.1
models:
- model: Sao10K/L3-8B-Stheno-v3.2
- model: ChaoticNeutrals/Poppy_Porpoise-1.0-L3-8B
parameters:
density: 0.5
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
- model: Nitral-AI/Hathor_Stable-v0.2-L3-8B
parameters:
density: 0.5
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: Hastagaras/Jamet-8B-L3-MK.V-Blackroot
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: openlynn/Llama-3-Soliloquy-8B-v2
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
merge_method: dare_ties
base_model: Sao10K/L3-8B-Stheno-v3.2
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-RP-pt.2
models:
- model: Sao10K/L3-8B-Stheno-v3.2
- model: ChaoticNeutrals/Poppy_Porpoise-1.0-L3-8B
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
- model: Nitral-AI/Hathor_Stable-v0.2-L3-8B
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: Hastagaras/Jamet-8B-L3-MK.V-Blackroot
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: openlynn/Llama-3-Soliloquy-8B-v2
parameters:
gamma: 0.01
density: 0.9
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
merge_method: breadcrumbs_ties
base_model: Sao10K/L3-8B-Stheno-v3.2
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Egg-and-Bread-RP
models:
- model: Casual-Autopsy/Eggs-and-Bread-RP-pt.1
- model: Casual-Autopsy/Eggs-and-Bread-RP-pt.2
merge_method: slerp
base_model: Casual-Autopsy/Eggs-and-Bread-RP-pt.1
parameters:
t:
- filter: self_attn
value: [0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5]
- filter: mlp
value: [0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5]
- value: 0.5
dtype: bfloat16
Eggs-and-Bread-IQ-pt.1
models:
- model: NousResearch/Meta-Llama-3-8B-Instruct
- model: turboderp/llama3-turbcat-instruct-8b
parameters:
density: 0.5
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
- model: VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
parameters:
density: 0.5
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: TIGER-Lab/MAmmoTH2-8B-Plus
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: jondurbin/bagel-8b-v1.0
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: abacusai/Llama-3-Smaug-8B
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
merge_method: dare_ties
base_model: NousResearch/Meta-Llama-3-8B-Instruct
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-IQ-pt.2
models:
- model: NousResearch/Meta-Llama-3-8B-Instruct
- model: turboderp/llama3-turbcat-instruct-8b
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
- model: VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: TIGER-Lab/MAmmoTH2-8B-Plus
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: jondurbin/bagel-8b-v1.0
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: abacusai/Llama-3-Smaug-8B
parameters:
gamma: 0.01
density: 0.9
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
merge_method: breadcrumbs_ties
base_model: NousResearch/Meta-Llama-3-8B-Instruct
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-IQ
models:
- model: Casual-Autopsy/Eggs-and-Bread-IQ-pt.1
- model: Casual-Autopsy/Eggs-and-Bread-IQ-pt.2
merge_method: slerp
base_model: Casual-Autopsy/Eggs-and-Bread-IQ-pt.1
parameters:
t:
- filter: self_attn
value: [0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5]
- filter: mlp
value: [0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5]
- value: 0.5
dtype: bfloat16
Eggs-and-Bread-Uncen-pt.1
models:
- model: failspy/Meta-Llama-3-8B-Instruct-abliterated-v3
- model: AwanLLM/Awanllm-Llama-3-8B-Cumulus-v1.0
parameters:
density: 0.5
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
- model: lodrick-the-lafted/Limon-8B
parameters:
density: 0.5
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: vicgalle/Configurable-Llama-3-8B-v0.3
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: Undi95/Llama3-Unholy-8B-OAS
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: Undi95/Unholy-8B-DPO-OAS
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
merge_method: dare_ties
base_model: failspy/Meta-Llama-3-8B-Instruct-abliterated-v3
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-Uncen-pt.2
models:
- model: failspy/Meta-Llama-3-8B-Instruct-abliterated-v3
- model: AwanLLM/Awanllm-Llama-3-8B-Cumulus-v1.0
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
- model: lodrick-the-lafted/Limon-8B
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: vicgalle/Configurable-Llama-3-8B-v0.3
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: Undi95/Llama3-Unholy-8B-OAS
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: Undi95/Unholy-8B-DPO-OAS
parameters:
gamma: 0.01
density: 0.9
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
merge_method: breadcrumbs_ties
base_model: failspy/Meta-Llama-3-8B-Instruct-abliterated-v3
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-Uncen
models:
- model: Casual-Autopsy/Eggs-and-Bread-Uncen-pt.1
- model: Casual-Autopsy/Eggs-and-Bread-Uncen-pt.2
merge_method: slerp
base_model: Casual-Autopsy/Eggs-and-Bread-Uncen-pt.1
parameters:
t:
- filter: self_attn
value: [0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5]
- filter: mlp
value: [0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5]
- value: 0.5
dtype: bfloat16
Scrambled-Eggs-On-Toast-1
models:
- model: Casual-Autopsy/Eggs-and-Bread-RP
- model: Casual-Autopsy/Eggs-and-Bread-Uncen
merge_method: slerp
base_model: Casual-Autopsy/Eggs-and-Bread-RP
parameters:
t:
- value: [0.1, 0.15, 0.2, 0.4, 0.6, 0.4, 0.2, 0.15, 0.1]
dtype: bfloat16
L3-Scrambled-Eggs-On-Toast-8B
models:
- model: Casual-Autopsy/Scrambled-Eggs-On-Toast-1
- model: Casual-Autopsy/Eggs-and-Bread-IQ
merge_method: slerp
base_model: Casual-Autopsy/Scrambled-Eggs-On-Toast-1
parameters:
t:
- value: [0.7, 0.5, 0.3, 0.25, 0.2, 0.25, 0.3, 0.5, 0.7]
dtype: bfloat16
Eggs-and-Bread-Misc1-pt.1
models:
- model: WhiteRabbitNeo/Llama-3-WhiteRabbitNeo-8B-v2.0
- model: migtissera/Tess-2.0-Llama-3-8B
parameters:
density: 0.5
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
- model: defog/llama-3-sqlcoder-8b
parameters:
density: 0.5
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: HPAI-BSC/Llama3-Aloe-8B-Alpha
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: maldv/llama-3-fantasy-writer-8b
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: lodrick-the-lafted/Olethros-8B
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
merge_method: dare_ties
base_model: WhiteRabbitNeo/Llama-3-WhiteRabbitNeo-8B-v2.0
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-Misc1-pt.2
models:
- model: WhiteRabbitNeo/Llama-3-WhiteRabbitNeo-8B-v2.0
- model: migtissera/Tess-2.0-Llama-3-8B
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
- model: defog/llama-3-sqlcoder-8b
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: HPAI-BSC/Llama3-Aloe-8B-Alpha
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: maldv/llama-3-fantasy-writer-8b
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: lodrick-the-lafted/Olethros-8B
parameters:
gamma: 0.01
density: 0.9
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
merge_method: breadcrumbs_ties
base_model: WhiteRabbitNeo/Llama-3-WhiteRabbitNeo-8B-v2.0
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-Misc1
models:
- model: Casual-Autopsy/Eggs-and-Bread-Misc1-pt.1
- model: Casual-Autopsy/Eggs-and-Bread-Misc1-pt.2
merge_method: slerp
base_model: Casual-Autopsy/Eggs-and-Bread-Misc1-pt.1
parameters:
t:
- filter: self_attn
value: [0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5]
- filter: mlp
value: [0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5]
- value: 0.5
dtype: bfloat16
Eggs-and-Bread-FFT-pt.1
models:
- model: Magpie-Align/Llama-3-8B-ShareGPT-112K
- model: Magpie-Align/Llama-3-8B-WildChat
parameters:
density: 0.5
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
- model: Magpie-Align/Llama-3-8B-Tulu-330K
parameters:
density: 0.5
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: Magpie-Align/Llama-3-8B-OpenHermes-243K
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: Magpie-Align/Llama-3-8B-WizardLM-196K
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: Magpie-Align/Llama-3-8B-Ultrachat-200K
parameters:
density: 0.5
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
merge_method: dare_ties
base_model: Magpie-Align/Llama-3-8B-ShareGPT-112K
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-FFT-pt.2
models:
- model: Magpie-Align/Llama-3-8B-ShareGPT-112K
- model: Magpie-Align/Llama-3-8B-WildChat
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.0825, 0.33]
- model: Magpie-Align/Llama-3-8B-Tulu-330K
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.0825, 0.33, 0.0825]
- model: Magpie-Align/Llama-3-8B-OpenHermes-243K
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.0825, 0.33, 0.0825, 0.0825]
- model: Magpie-Align/Llama-3-8B-WizardLM-196K
parameters:
gamma: 0.01
density: 0.9
weight: [0.0825, 0.33, 0.0825, 0.0825, 0.0825]
- model: Magpie-Align/Llama-3-8B-Ultrachat-200K
parameters:
gamma: 0.01
density: 0.9
weight: [0.33, 0.0825, 0.0825, 0.0825, 0.0825]
merge_method: breadcrumbs_ties
base_model: Magpie-Align/Llama-3-8B-ShareGPT-112K
parameters:
normalize: false
int8_mask: true
dtype: bfloat16
Eggs-and-Bread-FFT
models:
- model: Casual-Autopsy/Eggs-and-Bread-FFT-pt.1
- model: Casual-Autopsy/Eggs-and-Bread-FFT-pt.2
merge_method: slerp
base_model: Casual-Autopsy/Eggs-and-Bread-FFT-pt.1
parameters:
t:
- filter: self_attn
value: [0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5]
- filter: mlp
value: [0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5, 0.7, 0.3, 0.5, 0.3, 0.7, 0.5]
- value: 0.5
dtype: bfloat16
Eggs-and-Bread-Misc2-pt.1
models:
- model: refuelai/Llama-3-Refueled
- model: Danielbrdz/Barcenas-Llama3-8b-ORPO
parameters:
density: 0.5
# 元文書ここで不十分です、そのままにします
📄 ライセンス
このプロジェクトはllama3ライセンスを採用しています。
情報テーブル
| 属性 | 詳細 |
|---|---|
| モデルタイプ | 複数のモデルをマージしたロールプレイングモデル |
| トレーニングデータ | 未提及 |
Phi 2 GGUF
その他
Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。
大規模言語モデル 複数言語対応
P
TheBloke
41.5M
205
Roberta Large
MIT
マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。
大規模言語モデル 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。
大規模言語モデル 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。
大規模言語モデル 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。
大規模言語モデル 複数言語対応
X
FacebookAI
9.6M
664
Roberta Base
MIT
Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。
大規模言語モデル 英語
R
FacebookAI
9.3M
488
Opt 125m
その他
OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。
大規模言語モデル 英語
O
facebook
6.3M
198
1
transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能
大規模言語モデル
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。
大規模言語モデル 複数言語対応
T
google-t5
5.4M
702
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98