Llama 3 OffsetBias RM 8B

🚀 Llama-3-OffsetBias-RM-8B模型卡片

Llama-3-OffsetBias-RM-8B 是一個在OffsetBias數據集上訓練的獎勵模型。它經過訓練，在評估模型中常見的各種評估偏差方面表現得更加穩健。該模型在論文 OffsetBias: Leveraging Debiased Data for Tuning Evaluators 中被提出。

🚀 快速開始

直接使用

from transformers import AutoTokenizer, pipeline
import torch

model_name = "NCSOFT/Llama-3-OffsetBias-RM-8B"
rm_tokenizer = AutoTokenizer.from_pretrained(model_name)
rm_pipe = pipeline(
    "sentiment-analysis",
    model=model_name,
    device="auto",
    tokenizer=rm_tokenizer,
    model_kwargs={"torch_dtype": torch.bfloat16}
)

pipe_kwargs = {
    "return_all_scores": True,
    "function_to_apply": "none",
    "batch_size": 1
}

chat = [
 {"role": "user", "content": "Hello, how are you?"},
 {"role": "assistant", "content": "I'm doing great. How can I help you today?"},
 {"role": "user", "content": "I'd like to show off how chat templating works!"},
]

test_texts = [rm_tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=False).replace(rm_tokenizer.bos_token, "")]
pipe_outputs = rm_pipe(test_texts, **pipe_kwargs)
rewards = [output[0]["score"] for output in pipe_outputs]

✨ 主要特性

• 使用 sfairXC/FsfairX-LLaMA3-RM-v0.1 作為基礎模型，該模型基於Meta Llama 3構建。
• 從 Llama-3-8B-Instruct 訓練一箇中間獎勵模型，使用 FsfairX-LLaMA3-RM 模型訓練數據的一個子集，並結合 NCSOFT/offsetbias 數據集。
• 將中間模型與 FsfairX-LLaMA3-RM 模型合併，創建 Llama-3-OffsetBias-RM-8B。

📚 詳細文檔

模型詳情

模型描述

Llama-3-OffsetBias-RM-8B 使用 sfairXC/FsfairX-LLaMA3-RM-v0.1 作為基礎模型，它基於Meta Llama 3構建。一箇中間獎勵模型是從 Llama-3-8B-Instruct 開始訓練的，使用了 FsfairX-LLaMA3-RM 模型訓練所用數據集的一個子集，並結合了 NCSOFT/offsetbias 數據集。然後將這個中間模型與 FsfairX-LLaMA3-RM 模型合併，創建了 Llama-3-OffsetBias-RM-8B。

模型來源

• 💻 倉庫：https://github.com/ncsoft/offsetbias
• 📜 論文：OffsetBias: Leveraging Debiased Data for Tuning Evaluators
• 🤗 數據集：https://huggingface.co/datasets/NCSOFT/offsetbias

評估

RewardBench結果

EvalBiasBench結果

📄 許可證

該模型使用的許可證為 META LLAMA 3 COMMUNITY LICENSE AGREEMENT。

🔖 引用

@misc{park2024offsetbias,
      title={OffsetBias: Leveraging Debiased Data for Tuning Evaluators},
      author={Junsoo Park and Seungyeon Jwa and Meiying Ren and Daeyoung Kim and Sanghyuk Choi},
      year={2024},
      eprint={2407.06551},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}