Llama 3.1 8B Instruct Abliterated Via Adapter GGUF

🚀 Llama-3.1-8B-Instruct-abliterated_via_adapter-GGUF

本倉庫包含了一個模型的特定GGUF量化版本，該模型是使用 mergekit 合併預訓練語言模型得到的。

在 meta-llama/Meta-Llama-3.1-8B-Instruct 模型中應用了一個LoRA來“消除”拒絕回覆的情況。儘管這個LoRA是從Llama 3而非Llama 3.1派生而來，但結果表明該方法似乎可行，這意味著Llama 3和Llama 3.1模型之間存在顯著的特徵共性。

這個LoRA是從 failspy/Meta-Llama-3-8B-Instruct-abliterated-v3 中提取的，並以 meta-llama/Meta-Llama-3-8B-Instruct 為基礎。

該模型基於Llama構建。

✨ 主要特性

• 對預訓練語言模型進行合併，得到新的模型。
• 應用LoRA消除拒絕回覆情況，提升模型可用性。

📚 詳細文檔

合併詳情

合併方法

此模型採用 任務算術 合併方法，以 meta-llama/Meta-Llama-3.1-8B-Instruct + grimjim/Llama-3-Instruct-abliteration-LoRA-8B 為基礎進行合併。

配置

以下是用於生成此模型的YAML配置：

base_model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
dtype: bfloat16
merge_method: task_arithmetic
parameters:
  normalize: false
slices:
- sources:
  - layer_range: [0, 32]
    model: meta-llama/Meta-Llama-3.1-8B-Instruct+grimjim/Llama-3-Instruct-abliteration-LoRA-8B
    parameters:
      weight: 1.0

📄 許可證

本項目使用的許可證為 llama3.1。

📦 模型信息