Supermario Slerp V2

🚀 超級馬里奧Slerp V2模型

本項目的超級馬里奧Slerp V2模型專注於文本生成任務，通過獨特的模型融合方法，在多個權威數據集上展現出了優秀的性能，為文本生成領域提供了新的解決方案。

🚀 快速開始

你可以使用 Jan Desktop 在 Mac、Windows 或 Linux 系統上運行此模型。Jan 是一個開源的 ChatGPT 替代方案，具有以下特點：

• 💻 100% 本地離線運行：你的對話內容保持機密，只有你能看到。
• 🗂️ 開放文件格式：對話和模型設置保存在你的計算機上，可以隨時導出或刪除。
• 🌐 與 OpenAI 兼容：本地服務器端口為 1337，具有與 OpenAI 兼容的端點。
• 🌍 開源且免費：我們公開開發，查看我們的 Github。

✨ 主要特性

• 模型融合：該模型使用 Slerp 融合方法，融合了兩個模型：
  1. v1olet_marcoroni-go-bruins-merge-7B
  2. juanako-7b-UNA
• 基礎模型：以 v1olet_marcoroni-go-bruins-merge-7B 為基礎模型。

📚 詳細文檔

模型描述

此模型使用 Slerp 融合方法從兩個模型融合而來：

1. v1olet_marcoroni-go-bruins-merge-7B
2. juanako-7b-UNA

• 基礎模型：v1olet_marcoroni-go-bruins-merge-7B

該模型的 yaml 配置文件如下：

slices:
  - sources:
      - model: v1olet/v1olet_marcoroni-go-bruins-merge-7B
        layer_range: [0, 32]
      - model: fblgit/juanako-7b-UNA
        layer_range: [0, 32]
merge_method: slerp
base_model: v1olet/v1olet_marcoroni-go-bruins-merge-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

評估結果

詳細結果可查看 Open LLM Leaderboard Evaluation Results。

📄 許可證

本項目採用 Apache-2.0 許可證。

致謝

• mergekit
• DARE
• SLERP
• lm-evaluation-harness