Llama 3 Instruct 8B SimPO SPPO Iter3 Merge

🚀 Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge

這是一個使用 mergekit 合併預訓練語言模型得到的模型。它基於 Meta Llama 3 構建。

🚀 快速開始

本模型可用於文本生成任務，你可以藉助相關工具和代碼調用該模型進行文本生成。

✨ 主要特性

• 此模型是通過合併多個預訓練語言模型得到，結合了不同模型的優勢。
• 使用 SLERP 合併方法進行模型合併。

📚 詳細文檔

合併詳情

合併方法

本模型使用 SLERP 合併方法進行合併。

合併的模型

合併中包含以下模型：

• princeton-nlp/Llama-3-Instruct-8B-SimPO
• UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3

配置

以下是用於生成此模型的 YAML 配置：

slices:
- sources:
  - model: princeton-nlp/Llama-3-Instruct-8B-SimPO
    layer_range:
    - 0
    - 32
  - model: UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3
    layer_range:
    - 0
    - 32
merge_method: slerp
base_model: princeton-nlp/Llama-3-Instruct-8B-SimPO
parameters:
  t:
  - filter: self_attn
    value:
    - 0
    - 0.5
    - 0.3
    - 0.7
    - 1
  - filter: mlp
    value:
    - 1
    - 0.5
    - 0.7
    - 0.3
    - 0
  - value: 0.5
dtype: bfloat16

Open LLM Leaderboard 評估結果

詳細結果可查看 此處

📄 許可證

本模型使用 llama3 許可證。

模型信息表格