Progenitor V3.3 LLaMa 70B

🚀 モデルマージテスト

このモデルは、3.3 Llama instructモデルをベースに試すよう推薦を受けた後、新たに作成したテストモデルです。私はこのモデルを使って本当に楽しんでいます。私の感想では、1.1や2.2のモデルを上回っていると思います。

🚀 クイックスタート

このプロジェクトは、事前学習された言語モデルをmergekitを使用してマージしたものです。

✨ 主な機能

モデルマージの詳細

マージ方法

このモデルは、Linear DELLAマージ方法を使用し、meta-llama/Llama-3.3-70B-Instructをベースにしてマージされています。

マージされたモデル

以下のモデルがマージに含まれています：

• SicariusSicariiStuff/Negative_LLAMA_70B
• TheDrummer/Anubis-70B-v1
• Sao10K/70B-L3.3-Cirrus-x1
• Sao10K/L3.1-70B-Hanami-x1
• EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1

設定

このモデルを生成するために使用されたYAML設定は以下の通りです：

models:
  - model: Sao10K/L3.1-70B-Hanami-x1
    parameters:
      weight: 0.20
      density: 0.7
  - model: Sao10K/70B-L3.3-Cirrus-x1
    parameters:
      weight: 0.20
      density: 0.7
  - model: SicariusSicariiStuff/Negative_LLAMA_70B
    parameters:
      weight: 0.20
      density: 0.7
  - model: TheDrummer/Anubis-70B-v1
    parameters:
      weight: 0.20
      density: 0.7
  - model: EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1
    parameters:
      weight: 0.20
      density: 0.7
merge_method: della_linear
base_model: meta-llama/Llama-3.3-70B-Instruct
parameters:
  epsilon: 0.2
  lambda: 1.1
dype: float32
out_dtype: bfloat16
tokenizer:
 source: union

モデル情報

KO-FIでの支援 <3