Supermario Slerp V2

🚀 超级马里奥Slerp V2模型

本项目的超级马里奥Slerp V2模型专注于文本生成任务，通过独特的模型融合方法，在多个权威数据集上展现出了优秀的性能，为文本生成领域提供了新的解决方案。

🚀 快速开始

你可以使用 Jan Desktop 在 Mac、Windows 或 Linux 系统上运行此模型。Jan 是一个开源的 ChatGPT 替代方案，具有以下特点：

• 💻 100% 本地离线运行：你的对话内容保持机密，只有你能看到。
• 🗂️ 开放文件格式：对话和模型设置保存在你的计算机上，可以随时导出或删除。
• 🌐 与 OpenAI 兼容：本地服务器端口为 1337，具有与 OpenAI 兼容的端点。
• 🌍 开源且免费：我们公开开发，查看我们的 Github。

✨ 主要特性

• 模型融合：该模型使用 Slerp 融合方法，融合了两个模型：
  1. v1olet_marcoroni-go-bruins-merge-7B
  2. juanako-7b-UNA
• 基础模型：以 v1olet_marcoroni-go-bruins-merge-7B 为基础模型。

📚 详细文档

模型描述

此模型使用 Slerp 融合方法从两个模型融合而来：

1. v1olet_marcoroni-go-bruins-merge-7B
2. juanako-7b-UNA

• 基础模型：v1olet_marcoroni-go-bruins-merge-7B

该模型的 yaml 配置文件如下：

slices:
  - sources:
      - model: v1olet/v1olet_marcoroni-go-bruins-merge-7B
        layer_range: [0, 32]
      - model: fblgit/juanako-7b-UNA
        layer_range: [0, 32]
merge_method: slerp
base_model: v1olet/v1olet_marcoroni-go-bruins-merge-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

评估结果

详细结果可查看 Open LLM Leaderboard Evaluation Results。

📄 许可证

本项目采用 Apache-2.0 许可证。

致谢

• mergekit
• DARE
• SLERP
• lm-evaluation-harness