Llama 3.1 8B Instruct Abliterated Via Adapter

🚀 Llama-3.1-8B-Instruct-abliterated_via_adapter

本模型是使用mergekit合併預訓練語言模型得到的。通過在meta-llama/Meta-Llama-3.1-8B-Instruct上應用低秩自適應（LoRA）技術，“消除”了模型的拒絕回覆問題。儘管該LoRA是從Llama 3而非Llama 3.1派生而來，但結果表明它仍然有效，這意味著Llama 3和Llama 3.1模型之間存在顯著的特徵共性。

此LoRA是從failspy/Meta-Llama-3-8B-Instruct-abliterated-v3中提取的，以meta-llama/Meta-Llama-3-8B-Instruct為基礎模型。

本模型基於Llama構建。

🚀 快速開始

本模型是使用mergekit合併預訓練語言模型得到的，可直接用於文本生成任務。

✨ 主要特性

• 拒絕回覆消除：通過應用LoRA技術，消除了原模型的拒絕回覆問題。
• 特徵共性：儘管LoRA派生自Llama 3，但在Llama 3.1上仍然有效，表明兩者存在顯著的特徵共性。

📦 安裝指南

暫未提供安裝步驟，可參考mergekit的官方文檔進行模型的合併與使用。

📚 詳細文檔

合併詳情

合併方法

本模型使用任務算術合併方法，以meta-llama/Meta-Llama-3.1-8B-Instruct + grimjim/Llama-3-Instruct-abliteration-LoRA-8B為基礎進行合併。

配置

以下是用於生成此模型的YAML配置：

base_model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
dtype: bfloat16
merge_method: task_arithmetic
parameters:
  normalize: false
slices:
- sources:
  - layer_range: [0, 32]
    model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
    parameters:
      weight: 1.0

Open LLM Leaderboard評估結果

詳細結果可查看此處

📄 許可證

本模型使用llama3.1許可證。

模型信息