Daredevil 8B Abliterated GGUF

🚀 Daredevil-8B-abliterated-GGUF

这是一个量化版本的模型，它基于 mlabonne/Daredevil-8B-abliterated 使用 llama.cpp 创建，可用于文本生成相关任务。

🚀 快速开始

本模型是 mlabonne/Daredevil-8B 的消融版本，使用了 failspy 的笔记本创建。它基于博客文章 "Refusal in LLMs is mediated by a single direction" 中描述的技术。

感谢 Andy Arditi、Oscar Balcells Obeso、Aaquib111、Wes Gurnee、Neel Nanda 和 failspy。

✨ 主要特性

🔎 应用场景

这是一个无审查的模型，你可以将其用于任何不需要对齐的应用程序，例如角色扮演。该模型已在 LM Studio 上使用 "Llama 3" 预设进行了测试。

🏆 评估结果

Open LLM Leaderboard

截至 2024 年 5 月 27 日，Daredevil-8B-abliterated 在 Open LLM Leaderboard 的 MMLU 分数方面是表现第二好的 8B 模型。

Nous

使用 LLM AutoEval 进行评估。完整排行榜请见 此处。

🌳 模型家族树

💻 使用示例

基础用法

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "mlabonne/Daredevil-8B-abliterated"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

📄 许可证

许可证类型：other