Orca Mini V5 8b Dpo

🚀 Llama 3 Orca Mini V5 8B DPO模型

Llama 3 Orca Mini V5 8B DPO是一个经过多种DPO数据集训练的模型，可用于文本生成任务，能为用户提供有用的AI辅助服务。

🚀 快速开始

本模型允许用户在提供适当的引用和归属的前提下，将其作为基础模型进行进一步的全量微调、DPO、PPO或ORPO调优以及任何类型的合并操作。鼓励用户根据自身特定需求对模型进行定制和改进。

✨ 主要特性

• 可作为基础模型进行多种调优操作，如全量微调、DPO、PPO或ORPO调优等。
• 适用于文本生成任务，以ChatML提示格式进行交互。
• 设计为综合通用模型，可根据用户需求定制。

📦 安装指南

文档未提及安装步骤，暂无法提供。

💻 使用示例

基础用法

以下是ChatML提示格式：

<|im_start|>system
You are Orca Mini, a helpful AI assistant.<|im_end|>
<|im_start|>user
Hello Orca Mini, what can you do for me?<|im_end|>
<|im_start|>assistant

高级用法

以下展示了如何使用该模型的代码示例：

from transformers import AutoModel, AutoTokenizer
model_slug = "pankajmathur/orca_mini_v5_8b_dpo"
model = AutoModel.from_pretrained(model_slug)
tokenizer = AutoTokenizer.from_pretrained(model_slug)

messages = [
    {"role": "system", "content": "You are Orca Mini, a helpful AI assistant."},
    {"role": "user", "content": "Hello Orca Mini, what can you do for me?"}
]

gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

📚 详细文档

评估

Open LLM Leaderboard评估结果

详细结果可查看此处。

📄 许可证

本模型受META LLAMA 3 COMMUNITY LICENSE AGREEMENT约束。

量化版本

• GGUF：即将推出
• AWQ：即将推出

⚠️ 重要提示

使用本模型需提供适当的引用和归属，可将其作为基础模型进行进一步调优和合并操作。

💡 使用建议

本模型设计为综合通用模型，用户可根据自身特定需求对其进行定制和改进。