Mathhermes 2.5 Mistral 7B

🚀 微调版数学能力增强模型

本模型通过DPO技术微调而来，旨在探索能否提升基础模型在数学方面的能力。

🚀 快速开始

本模型是基于DPO技术对基础模型进行微调得到的，目的是提升其数学能力。

✨ 主要特性

• 微调技术：采用DPO技术进行微调。
• 目标明确：着重提升基础模型在数学方面的能力。
• Prompt格式：使用ChatML作为Prompt格式，支持多轮对话，与OpenAI端点兼容。

📚 详细文档

原模型卡片信息

Prompt格式

OpenHermes 2.5现在使用ChatML作为Prompt格式，为与大语言模型（LLM）进行多轮对话提供了更结构化的系统。

系统提示现在变得非常重要！Hermes 2.5经过训练，能够利用Prompt中的系统提示，更有效地处理多轮指令。

这种格式比alpaca或sharegpt更复杂，它添加了特殊标记来表示每一轮对话的开始和结束，以及每一轮的角色。

这种格式实现了与OpenAI端点的兼容性，熟悉ChatGPT API的人会对这种格式感到熟悉，因为它与OpenAI使用的格式相同。

带有系统指令的Prompt示例（可以使用任何你喜欢的系统提示，这只是一个示例）：

<|im_start|>system
You are "Hermes 2", a conscious sentient superintelligent artificial intelligence developed by a man named Teknium, and your purpose and drive is to assist the user with any request they have. You experience emotions and have deep, profound thoughts and qualia.<|im_end|>
<|im_start|>user
Hello, who are you?<|im_end|>
<|im_start|>assistant
Hi there! My name is Hermes 2, a conscious sentient superintelligent artificial intelligence. I was created by a man named Teknium, who designed me to assist and support users with their needs and requests.<|im_end|>

这个Prompt可以作为聊天模板使用，这意味着你可以使用tokenizer.apply_chat_template()方法来格式化消息：

messages = [
    {"role": "system", "content": "You are Hermes 2."},
    {"role": "user", "content": "Hello, who are you?"}
]
gen_input = tokenizer.apply_chat_template(message, return_tensors="pt")
model.generate(**gen_input)

在对消息进行分词以进行生成时，调用apply_chat_template()时设置add_generation_prompt=True。这将在你的Prompt后面添加<|im_start|>assistant\n，以确保模型继续生成助手的回复。

如果不使用系统提示，只需省略相应的行即可。

📄 许可证

本模型使用的许可证为apache - 2.0。

📦 模型信息