Llama 3.1 8B Instruct Abliterated Via Adapter GGUF

🚀 Llama-3.1-8B-Instruct-abliterated_via_adapter-GGUF

このリポジトリには、mergekitを使用して作成された事前学習言語モデルのマージモデルの選択されたGGUF量子化モデルが含まれています。

meta-llama/Meta-Llama-3.1-8B-Instructにおける拒否応答を「除去」するためにLoRAが適用されています。LoRAがLlama 3.1ではなくLlama 3から派生しているにもかかわらず、結果は機能するように見えます。これは、3と3.1のモデル間には重要な特徴の共通性があることを示唆しています。

LoRAはfailspy/Meta-Llama-3-8B-Instruct-abliterated-v3から抽出され、meta-llama/Meta-Llama-3-8B-Instructをベースとして使用しています。

Llamaを使用して構築されています。

📚 詳細ドキュメント

🔧 マージの詳細

マージ方法

このモデルは、task arithmeticマージ方法を使用して、meta-llama/Meta-Llama-3.1-8B-Instruct + grimjim/Llama-3-Instruct-abliteration-LoRA-8Bをベースにマージされました。

設定

このモデルを生成するために、以下のYAML設定が使用されました。

base_model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
dtype: bfloat16
merge_method: task_arithmetic
parameters:
  normalize: false
slices:
- sources:
  - layer_range: [0, 32]
    model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
    parameters:
      weight: 1.0

📄 ライセンス

このモデルのライセンスはllama3.1です。