Llama 3 Instruct 8B SimPO SPPO Iter3 Merge

🚀 Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge

这是一个使用 mergekit 合并预训练语言模型得到的模型。它基于 Meta Llama 3 构建。

🚀 快速开始

本模型可用于文本生成任务，你可以借助相关工具和代码调用该模型进行文本生成。

✨ 主要特性

• 此模型是通过合并多个预训练语言模型得到，结合了不同模型的优势。
• 使用 SLERP 合并方法进行模型合并。

📚 详细文档

合并详情

合并方法

本模型使用 SLERP 合并方法进行合并。

合并的模型

合并中包含以下模型：

• princeton-nlp/Llama-3-Instruct-8B-SimPO
• UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3

配置

以下是用于生成此模型的 YAML 配置：

slices:
- sources:
  - model: princeton-nlp/Llama-3-Instruct-8B-SimPO
    layer_range:
    - 0
    - 32
  - model: UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3
    layer_range:
    - 0
    - 32
merge_method: slerp
base_model: princeton-nlp/Llama-3-Instruct-8B-SimPO
parameters:
  t:
  - filter: self_attn
    value:
    - 0
    - 0.5
    - 0.3
    - 0.7
    - 1
  - filter: mlp
    value:
    - 1
    - 0.5
    - 0.7
    - 0.3
    - 0
  - value: 0.5
dtype: bfloat16

Open LLM Leaderboard 评估结果

详细结果可查看 此处

📄 许可证

本模型使用 llama3 许可证。

模型信息表格