Llama 3 Instruct 8B SimPO SPPO Iter3 Merge

🚀 Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge

このモデルは、mergekitを使用して作成された事前学習言語モデルのマージです。Meta Llama 3をベースに構築されています。

🚀 クイックスタート

このモデルは、事前学習言語モデルをマージして作成されており、テキスト生成タスクに使用できます。

✨ 主な機能

• 事前学習言語モデルのマージ機能を提供します。
• Meta Llama 3をベースに構築されているため、高性能なテキスト生成能力を備えています。

📦 インストール

インストールに関する具体的な手順は提供されていません。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています：

• princeton-nlp/Llama-3-Instruct-8B-SimPO
• UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3

設定

以下のYAML設定を使用してこのモデルが生成されました：

slices:
- sources:
  - model: princeton-nlp/Llama-3-Instruct-8B-SimPO
    layer_range:
    - 0
    - 32
  - model: UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3
    layer_range:
    - 0
    - 32
merge_method: slerp
base_model: princeton-nlp/Llama-3-Instruct-8B-SimPO
parameters:
  t:
  - filter: self_attn
    value:
    - 0
    - 0.5
    - 0.3
    - 0.7
    - 1
  - filter: mlp
    value:
    - 1
    - 0.5
    - 0.7
    - 0.3
    - 0
  - value: 0.5
dtype: bfloat16

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルは、llama3ライセンスの下で提供されています。