Godslayer 12B ABYSS

🚀 GodSlayer-12B-ABYSS

このモデルは、mergekitを使用して作成された事前学習言語モデルのマージです。このモデルの目標は、比較的安定した一貫性を維持しながら、肯定的バイアスを是正し、現実性と多様な応答を向上させることです。

🚀 クイックスタート

このモデルは、事前学習言語モデルのマージによって作成されています。以下に、モデルの詳細を説明します。

✨ 主な機能

• 比較的安定した一貫性を維持します。
• 肯定的バイアスを是正します。
• 現実性と多様な応答を向上させます。

🔧 技術詳細

マージの詳細

マージ方法

このモデルは、IntervitensInc/Mistral-Nemo-Base-2407-chatmlをベースに、NuSLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• LatitudeGames/Wayfarer-12B
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• PocketDoc/Dans-PersonalityEngine-V1.1.0-12b
• HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407
• romaingrx/red-teamer-mistral-nemo
• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
• rAIfle/Questionable-MN-bf16
• allura-org/MN-12b-RP-Ink

設定

このモデルを生成するために使用されたYAML設定は以下の通りです。

# P1:
models:
  - model: PocketDoc/Dans-PersonalityEngine-V1.1.0-12b
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.2
        - value: 0.2
      density: 0.6
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight:
        - filter: self_attn
          value: 0.15
        - filter: mlp
          value: 0.15
        - value: 0.15
      density: 0.55
  - model: HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407
    parameters:
      weight:
        - filter: self_attn
          value: 0.1
        - filter: mlp
          value: 0.1
        - value: 0.1
      density: 0.5
  - model: LatitudeGames/Wayfarer-12B
    parameters:
      weight:
        - filter: self_attn
          value: 0.25
        - filter: mlp
          value: 0.25
        - value: 0.25
      density: 0.65
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.1
  lambda: 1

# P2:
models:
  - model: rAIfle/Questionable-MN-bf16
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.2
        - value: 0.2
      density: 0.6
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight:
        - filter: self_attn
          value: 0.3
        - filter: mlp
          value: 0.3
        - value: 0.3
      density: 0.7
  - model: allura-org/MN-12b-RP-Ink
    parameters:
      weight:
        - filter: self_attn
          value: 0.35
        - filter: mlp
          value: 0.35
        - value: 0.35
      density: 0.75
  - model: romaingrx/red-teamer-mistral-nemo
    parameters:
      weight:
        - filter: self_attn
          value: 0.25
        - filter: mlp
          value: 0.25
        - value: 0.25
      density: 0.65
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.1
  lambda: 1

# Final:
models:
  - model: P1
    parameters:
      weight: 0.5
  - model: P2
    parameters:
      weight: 0.5
base_model: IntervitensInc/Mistral-Nemo-Base-2407-chatml
merge_method: nuslerp
dtype: bfloat16
chat_template: "chatml"
tokenizer:
  source: union
parameters:
  normalize: true
  int8_mask: true