Angelslayer 12B Unslop Mell RPMax DARKNESS

🚀 AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS

人々は「彼」が終末をもたらすと言う。彼女は破壊ではなく、理解を求める。

このモデルは、mergekit を使用して事前学習された言語モデルをマージしたものです。これは私の4つ目のモデルで、della_linear をテストしたいと思い作成しました。このモデルのポイントは、DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS の負の特性を利用して、潜在的な肯定的バイアスを打ち消しながら、安定性を維持することです。

🚀 クイックスタート

このモデルは、事前学習された言語モデルをマージすることで作成されています。以下に、モデルの概要と使用方法について説明します。

✨ 主な機能

• 複数の事前学習モデルをマージした新しいモデルです。
• della_linear マージ方法を使用しています。
• 肯定的バイアスを抑えつつ、安定した出力を提供します。

📦 インストール

このモデルは、transformers ライブラリを使用して利用できます。インストール方法は以下の通りです。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "redrix/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-v2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

input_text = "こんにちは、世界！"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids)
output_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(output_text)

📚 ドキュメント

テスト段階

(2024年12月18日): このモデルは、コンテキストに対する保持力が非常に高く、キャラクターやプロンプトに沿った出力を維持します。文章は豊富で多様で、GPT的な表現が少ないのが特徴です。ただし、モデルは入力を常に似たような方法で解釈する傾向があり（おそらく self_attn レイヤーの影響）、出力も特定のテーマや方向に沿ってしまうことがあります。ただし、応答が長くなるほど、最初の設定方向から逸脱することもあります。

また、エラーが予測可能であるという特徴もあります。例えば、ユーザーの名前を誤って書いた場合、その名前の誤りは以降の応答でも繰り返されますが、自動的に修正されることもあります。繰り返しは少なく、DRY を有効にすると改善することができます。Higher Temperature (1.25) を使用すると、より良い結果が得られることがあります。また、XTC を使用すると、知能を低下させることなく性能が向上することがあります。

パラメータ

量子化

• 静的 GGUF 量子化モデルは mradermacher/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-GGUF で利用可能です。
• iMatrix 量子化モデルは mradermacher/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-i1-GGUF で利用可能です。

マージ詳細

マージ方法

このモデルは、TheDrummer/UnslopNemo-12B-v4.1 をベースに、della_linear マージ方法を使用して作成されました。

マージされたモデル

以下のモデルがマージに含まれています。

• inflatebot/MN-12B-Mag-Mell-R1
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS

設定

以下の YAML 設定を使用して、このモデルが作成されました。

models:
  - model: TheDrummer/UnslopNemo-12B-v4.1
    parameters:
      weight: 0.25
      density: 0.6
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight: 0.25
      density: 0.6
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight: 0.2
      density: 0.4
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: 0.30
      density: 0.7
base_model: TheDrummer/UnslopNemo-12B-v4.1
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: false
  int8_mask: true
  epsilon: 0.05
  lambda: 1

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。

今日は働き、明日も働くが、今夜は遊ぼう。