Remm SLERP L2 13B

🚀 Re:MythoMax (ReMM)项目

Re:MythoMax (ReMM) 是基于更新后的模型对原始 MythoMax-L2-B13 进行的一次重新创建尝试。本项目使用 SLERP [TESTING] 方法将 ReML 和 Huginn v1.2 进行合并。

🚀 快速开始

合并命令及说明

由于硬件限制，部分合并分两步完成：

重新创建 ReML

ReML 基于 Mythologic (v2)（由 Chronos、Hermes 和 Airboros 组成）进行重新创建：

• 用 The-Face-Of-Goonery/Chronos-Beluga-v2-13bfp16 (0.30) 替换 Chronos。
• 用 jondurbin/airoboros-l2-13b-2.1（最新版本）(0.40) 替换 Airoboros。
• 保留 NousResearch/Nous-Hermes-Llama2-13b (0.30)。

# 第一部分
python ties_merge.py TheBloke/Llama-2-13B-fp16 ./ReML-L2-13B-part1  --merge The-Face-Of-Goonery/Chronos-Beluga-v2-13bfp16 --density 0.42 --merge jondurbin/airoboros-l2-13b-2.1 --density 0.56 --cuda

# 第二部分
python ties_merge.py TheBloke/Llama-2-13B-fp16 ./ReML-L2-13B --merge NousResearch/Nous-Hermes-Llama2-13b --density 0.30 --merge Undi95/ReML-L2-13B-part1 --density 0.70 --cuda

重新创建 ReMM

ReMM 基于 MythoMax (v2)（由 Mythologic 和 Huginn v1 组成）进行重新创建：

• 用上述重新创建的 ReML (0.5) 替换 Mythologic。
• 用 The-Face-Of-Goonery/Huginn-13b-v1.2（最新版本）(0.5) 替换 Huginn。

# 第三部分
python slerpmergelm.py "The-Face-Of-Goonery_Huginn-13b-v1.2" "Undi95_ReML-L2-13B" "result"

使用的 SLERP 版本经过调整，以支持在笔记本中使用，详情见：https://github.com/Undi95/LLM-SLERP-MergeTest/tree/main （感谢 @Vali）

✨ 主要特性

本项目重新创建了 Re:MythoMax (ReMM) 模型，通过更新模型和采用新的合并方法，可能带来更好的性能和效果。

📦 安装指南

按照上述命令在具备 CUDA 环境的设备上运行相应的合并脚本，即可完成模型的重新创建。

📚 详细文档

模型描述

本仓库包含 ReMM-SLERP 的 fp16 文件，它是对原始 MythoMax 的重新创建，并使用 SLERP 方法进行合并更新。

使用的模型

提示模板

本模型使用 Alpaca 提示模板：

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

特别感谢 Sushi kek

评估结果

详细的评估结果可查看 Open LLM Leaderboard Evaluation Results，具体结果如下：

📄 许可证

本项目采用 CC BY-NC 4.0 许可证。