Anathema V14 LLaMa 70B

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習済みの言語モデルをmergekitを使用してマージしたものです。マージにより、新しい特性や性能を持つ言語モデルを生成することができます。

🚀 クイックスタート

このマージモデルは、transformersライブラリを使用して操作できます。以下に基本的な使用例を示します。

✨ 主な機能

• 複数の事前学習済みモデルをマージし、新しい特性を持つモデルを生成。
• SCEマージ手法を用いて、効果的なマージを実現。

📚 ドキュメント

マージ詳細

マージ方法

このモデルは、SCEマージ手法を使用してマージされています。ベースモデルとしてnbeerbower/Llama-3.1-Nemotron-lorablated-70Bが使用されています。

マージされたモデル

以下のモデルがマージに含まれています。

• Sao10K/L3-70B-Euryale-v2.1
• TheDrummer/Fallen-Llama-3.3-R1-70B-v1
• mlabonne/Hermes-3-Llama-3.1-70B-lorablated
• ReadyArt/The-Omega-Directive-L-70B-v1.0
• TareksLab/Feral-V3-LLaMa-70B

設定

以下のYAML設定を使用してこのモデルが生成されました。

models:
  - model: mlabonne/Hermes-3-Llama-3.1-70B-lorablated
  - model: Sao10K/L3-70B-Euryale-v2.1
  - model: TheDrummer/Fallen-Llama-3.3-R1-70B-v1
  - model: ReadyArt/The-Omega-Directive-L-70B-v1.0
  - model: TareksLab/Feral-V3-LLaMa-70B
merge_method: sce
base_model: nbeerbower/Llama-3.1-Nemotron-lorablated-70B
parameters:
  select_topk: 0.80
dtype: bfloat16
tokenizer:
 source: base

情報一覧