Llama 3.1 8B Instruct Abliterated Via Adapter

🚀 Llama-3.1-8B-Instruct-abliterated_via_adapter

このモデルは、mergekitを使用して事前学習された言語モデルをマージしたものです。

meta-llama/Meta-Llama-3.1-8B-Instructにおける拒否応答を「除去」するためにLoRAが適用されました。LoRAがLlama 3.1ではなくLlama 3から派生しているにもかかわらず、結果は機能するように見えます。これは、3と3.1のモデル間に重要な特徴の共通性があることを示唆しています。

LoRAは、meta-llama/Meta-Llama-3-8B-Instructをベースとして、failspy/Meta-Llama-3-8B-Instruct-abliterated-v3から抽出されました。

Llamaを使用して構築されています。

✨ 主な機能

📦 マージの詳細

マージ方法

このモデルは、task arithmeticマージ方法を使用して、meta-llama/Meta-Llama-3.1-8B-Instruct + grimjim/Llama-3-Instruct-abliteration-LoRA-8Bをベースにマージされました。

設定

このモデルを作成するために、次のYAML設定が使用されました。

base_model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
dtype: bfloat16
merge_method: task_arithmetic
parameters:
  normalize: false
slices:
- sources:
  - layer_range: [0, 32]
    model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
    parameters:
      weight: 1.0

📚 ドキュメント

Open LLM Leaderboard Evaluation Results

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルのライセンスはllama3.1です。

📋 その他の情報