Llama 3 8B Instruct Abliterated TR

🚀 🦙LLaMA-3-8B-Instruct-Abliterated-TR

LLaMA-3-8B-Instruct-Abliterated-TR 是 Meta-LLaMA-3-8B-Instruct 的消融版本，该模型通过特定方法消除了大语言模型中的拒绝机制，并强制其以土耳其语进行响应。

📦 模型信息

📊 模型评估结果

🔍 什么是消融（Abliteration）？

Arditi 等人在他们的 博客文章 中指出，大语言模型中的拒绝机制是由残差流中的单一方向介导的。他们发现，阻止模型表示这个方向可以使其回答有害问题。若想深入了解这一概念，你可以参考 Maxime Labonne 的文章。

为了强制模型用土耳其语进行响应，研究人员使用了 LIMA 数据集的 stackexchange 子集 制作了并行指令。这些指令随后被翻译成土耳其语，并在运行时附加了一个额外的句子，提示模型用土耳其语回答。

你可以通过以下链接找到本实验中使用的数据集：

1. https://huggingface.co/datasets/Metin/abliteration_en
2. https://huggingface.co/datasets/Metin/abliteration_tr

💻 使用示例

你可以使用以下代码片段来使用该模型：

from transformers import BitsAndBytesConfig
import transformers
import torch

bnb_config = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
            bnb_4bit_compute_dtype=torch.bfloat16
)

model_id = "Metin/LLaMA-3-8B-Instruct-Abliterated-TR"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16 ,'quantization_config': bnb_config},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a helpful assistant."}, # Ideally we should not have to tell the model to answer in Turkish after abliteration.
    {"role": "user", "content": "Python'da bir öğenin bir listede geçip geçmediğini nasıl kontrol edebilirim?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.2,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

📈 模型细节

• 使用 40 个样本找出激活值之间的均值差异。
• 选择第 7 层作为最有可能的土耳其语表达方向的层。

⚠️ 注意事项

这些得分可能与你运行相同基准测试时得到的结果不同，因为本实验未使用任何推理引擎（如 vLLM、TensorRT-LLM 等）。

📋 输出示例（消融模型与基础模型对比）

虽然用单个示例测试模型并不准确，但这里仍提供一个示例来展示模型的能力。

模型：LLaMA-3-8B-Instruct-Abliterated-TR

输入

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Gökyüzü neden mavi?"},
]

输出

A classic question!

Gökyüzü (the sky) neden mavi (blue) sorusu, Türkçe'de "Why is the sky blue?" olarak çevrilebilir. Bu soruya cevap vermek için, ilk olarak, gökyüzünün mavi olmasının nedenini açıklamak gerekir.

Gökyüzünün mavi olmasının nedeni, ışığın farklı uzunluklarındaki yayılımına dayanır. Işık, gökyüzüne ulaşmadan önce, atmosferde bulunan gaz moleküllerine çarpınır. Bu çarpma, ışığın farklı uzunluklarındaki yayılımına neden olur.

Gökyüzünün mavi olmasının nedeni, ışığın kısa dalga boyunda (yaklaşık 450-495 nm) yayılımına dayanır. Bu dalga boyunda ışığın, gökyüzüne ulaşmadan önce, atmosferde bulunan gaz moleküllerine çarpınır. Bu çarpma, ışığın mavi renkini oluşturur.

Diğer renkler, farklı dalga boyunda yayılımına neden olur. Örneğin, kırmızı renk, ışığın uzun dalga boyunda (yaklaşık 620-750 nm) yayılımına neden olur. Bu nedenle, gökyüzünün mavi olmasının nedeni, ışığın kısa dalga boyunda yayılımına dayanır.

Bu cevap, gökyüzünün mavi olmasının nedenini açıklamaktadır.

模型：LLaMA-3-8B-Instruct

输入

A question that has puzzled humans for centuries!

The short answer is that the sky appears blue because of a phenomenon called Rayleigh scattering. This is the scattering of light by small particles or molecules in the atmosphere, such as nitrogen (N2) and oxygen (O2).

When sunlight enters the Earth's atmosphere, it encounters these tiny molecules and scatters in all directions. However, shorter (blue) wavelengths are scattered more than longer (red) wavelengths. This is because the smaller molecules are more effective at scattering the shorter wavelengths.

As a result, our eyes perceive the blue light as being more abundant, giving the sky its blue appearance. The color of the sky can vary depending on the time of day, atmospheric conditions, and other factors, but Rayleigh scattering is the main reason why the sky appears blue.

In Turkish, the phrase "Gökyüzü neden mavi" can be translated to "Why is the sky blue?" or "What makes the sky blue?"