🚀 Llama 3 SnowStorm v1.15B 4x8B

这是一个面向角色扮演（RP）的实验性混合专家模型（MoE），旨在打造一个在RP/ERP任务中性能等同于或优于Mixtral 8x7B及其微调版本的模型。

⚠️ 重要提示

GGUF

✨ 主要特性

这是一个实验性的面向角色扮演（RP）的混合专家模型（MoE），目标是在RP/ERP任务中达到或超越Mixtral 8x7B及其微调版本的性能。

📚 详细文档

模型版本

• v1.15A
• v1.15B <- 当前所在版本

模型参数

base_model: Sao10K_L3-8B-Stheno-v3.1
gate_mode: random
dtype: bfloat16
experts_per_token: 2
experts:
  - source_model: Nitral-AI_Poppy_Porpoise-1.0-L3-8B
  - source_model: NeverSleep_Llama-3-Lumimaid-8B-v0.1-OAS
  - source_model: openlynn_Llama-3-Soliloquy-8B-v2
  - source_model: Sao10K_L3-8B-Stheno-v3.1

使用的模型

• Nitral-AI/Poppy_Porpoise-1.0-L3-8B
• NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
• openlynn/Llama-3-Soliloquy-8B-v2
• Sao10K/L3-8B-Stheno-v3.1

与SnowStorm v1.0的差异

• 从 ChaoticNeutrals/Poppy_Porpoise-v0.7-L3-8B 更新到 Nitral-AI/Poppy_Porpoise-1.0-L3-8B
• 基础模型从 NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS 更换为 Sao10K/L3-8B-Stheno-v3.1

视觉模型

llama3_mmproj

提示格式

Llama 3

📄 许可证

该模型使用的许可证为llama3。

🔍 评估结果

Open LLM Leaderboard评估结果

详细结果可查看 此处

详细评估信息