Daredevil 8B Abliterated GGUF

🚀 Daredevil-8B-abliterated-GGUF

這是一個量化版本的模型，它基於 mlabonne/Daredevil-8B-abliterated 使用 llama.cpp 創建，可用於文本生成相關任務。

🚀 快速開始

本模型是 mlabonne/Daredevil-8B 的消融版本，使用了 failspy 的筆記本創建。它基於博客文章 "Refusal in LLMs is mediated by a single direction" 中描述的技術。

感謝 Andy Arditi、Oscar Balcells Obeso、Aaquib111、Wes Gurnee、Neel Nanda 和 failspy。

✨ 主要特性

🔎 應用場景

這是一個無審查的模型，你可以將其用於任何不需要對齊的應用程序，例如角色扮演。該模型已在 LM Studio 上使用 "Llama 3" 預設進行了測試。

🏆 評估結果

Open LLM Leaderboard

截至 2024 年 5 月 27 日，Daredevil-8B-abliterated 在 Open LLM Leaderboard 的 MMLU 分數方面是表現第二好的 8B 模型。

Nous

使用 LLM AutoEval 進行評估。完整排行榜請見 此處。

🌳 模型家族樹

💻 使用示例

基礎用法

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "mlabonne/Daredevil-8B-abliterated"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

📄 許可證

許可證類型：other