Remm SLERP L2 13B

🚀 Re:MythoMax (ReMM)項目

Re:MythoMax (ReMM) 是基於更新後的模型對原始 MythoMax-L2-B13 進行的一次重新創建嘗試。本項目使用 SLERP [TESTING] 方法將 ReML 和 Huginn v1.2 進行合併。

🚀 快速開始

合併命令及說明

由於硬件限制，部分合並分兩步完成：

重新創建 ReML

ReML 基於 Mythologic (v2)（由 Chronos、Hermes 和 Airboros 組成）進行重新創建：

• 用 The-Face-Of-Goonery/Chronos-Beluga-v2-13bfp16 (0.30) 替換 Chronos。
• 用 jondurbin/airoboros-l2-13b-2.1（最新版本）(0.40) 替換 Airoboros。
• 保留 NousResearch/Nous-Hermes-Llama2-13b (0.30)。

# 第一部分
python ties_merge.py TheBloke/Llama-2-13B-fp16 ./ReML-L2-13B-part1  --merge The-Face-Of-Goonery/Chronos-Beluga-v2-13bfp16 --density 0.42 --merge jondurbin/airoboros-l2-13b-2.1 --density 0.56 --cuda

# 第二部分
python ties_merge.py TheBloke/Llama-2-13B-fp16 ./ReML-L2-13B --merge NousResearch/Nous-Hermes-Llama2-13b --density 0.30 --merge Undi95/ReML-L2-13B-part1 --density 0.70 --cuda

重新創建 ReMM

ReMM 基於 MythoMax (v2)（由 Mythologic 和 Huginn v1 組成）進行重新創建：

• 用上述重新創建的 ReML (0.5) 替換 Mythologic。
• 用 The-Face-Of-Goonery/Huginn-13b-v1.2（最新版本）(0.5) 替換 Huginn。

# 第三部分
python slerpmergelm.py "The-Face-Of-Goonery_Huginn-13b-v1.2" "Undi95_ReML-L2-13B" "result"

使用的 SLERP 版本經過調整，以支持在筆記本中使用，詳情見：https://github.com/Undi95/LLM-SLERP-MergeTest/tree/main （感謝 @Vali）

✨ 主要特性

本項目重新創建了 Re:MythoMax (ReMM) 模型，通過更新模型和採用新的合併方法，可能帶來更好的性能和效果。

📦 安裝指南

按照上述命令在具備 CUDA 環境的設備上運行相應的合併腳本，即可完成模型的重新創建。

📚 詳細文檔

模型描述

本倉庫包含 ReMM-SLERP 的 fp16 文件，它是對原始 MythoMax 的重新創建，並使用 SLERP 方法進行合併更新。

使用的模型

提示模板

本模型使用 Alpaca 提示模板：

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

特別感謝 Sushi kek

評估結果

詳細的評估結果可查看 Open LLM Leaderboard Evaluation Results，具體結果如下：

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。