Aurora Borealis LLaMa 70B

🚀 MERGE2

このモデルは、事前学習された言語モデルをマージしたもので、mergekit を使用して作成されています。以前はMO-MODEL-Fused-V0.6-LLaMa-70Bとして知られていました。専用のモデルをマージする実験の一環で、今回は勾配を使った実験を行い、最終的なマージ結果に対するより細かいコントロールを試みました。

🚀 クイックスタート

推奨されるサンプラー設定は以下の通りです。

Temp 1.0
Min P 0.02

この種の「Hyper Multi Model Merge」の性質上、Q5量子化以下のものでは実行しないことをおすすめします。

もし私の作品が気に入ってくれるなら、応援をご検討ください。これにより、このようなモデルをもっと作ることができます！ KO-FIで応援 <3

✨ 主な機能

このモデルは、事前学習された言語モデルをマージすることで作成されており、勾配を使ったマージ方法を用いることで、最終的なマージ結果に対する細かいコントロールが可能です。

📦 インストール

元文書にインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

元文書にコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、DARE TIES マージ方法を使用して、TareksLab/MO-MODEL6-V0.1-LLaMa-70B をベースにマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• TareksLab/MO-MODEL3-V0.2-LLaMa-70B
• TareksLab/MO-MODEL5-V0.3-LLaMa-70B
• TareksLab/MO-MODEL2-V0.2-LLaMa-70B
• TareksLab/MO-MODEL1-V1-LLaMa-70B
• TareksLab/MO-MODEL4-V0.1-LLaMa-70B

設定

このモデルを生成するために使用されたYAML設定は以下の通りです。

models:
  - model: TareksLab/MO-MODEL6-V0.1-LLaMa-70B
    parameters:
      weight: [0.1, 0.1, 0.1, 0.2, 0.5]
      density: 0.5
  - model: TareksLab/MO-MODEL4-V0.1-LLaMa-70B
    parameters:
      weight: [0.1, 0.1, 0.2, 0.4, 0.2]
      density: 0.5
  - model: TareksLab/MO-MODEL5-V0.3-LLaMa-70B
    parameters:
      weight: [0.1, 0.2, 0.4, 0.2, 0.1]
      density: 0.5
  - model: TareksLab/MO-MODEL3-V0.2-LLaMa-70B
    parameters:
      weight: [0.2, 0.4, 0.2, 0.1, 0.1]
      density: 0.5
  - model: TareksLab/MO-MODEL2-V0.2-LLaMa-70B
    parameters:
      weight: [0.5, 0.2, 0.1, 0.1, 0.1]
      density: 0.5
  - model: TareksLab/MO-MODEL1-V1-LLaMa-70B
    parameters:
      weight: 0.10
      density: 0.5
merge_method: dare_ties
base_model: TareksLab/MO-MODEL6-V0.1-LLaMa-70B
parameters:
  normalize: false
  int8_mask: true
dtype: float32
out_dtype: bfloat16
chat_template: llama3
tokenizer:
 source: base

🔧 技術詳細

元文書に技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルのライセンスは llama3.3 です。

情報テーブル