Zero Mistral 24B

🚀 Zero-Mistral-24B模型介绍

Zero-Mistral-24B 是 mistralai/Mistral-Small-3.1-24B-Instruct-2503 的改进版纯文本模型，主要适用于俄语和英语。原始的Mistral模型包含视觉特性，而此模型移除了这些特性。该模型在训练的SFT阶段主要使用了 Big Russian Dataset 数据集以及 Shkolkovo.online 的专有数据集。

该模型具备良好的数学能力和一定的推理能力，并且保留了原始Mistral模型长达128k token的长上下文处理能力。

✨ 主要特性

• 语言适配：主要适配俄语和英语，满足多语言场景需求。
• 功能优化：移除了原始模型的视觉特性，专注于文本处理。
• 能力突出：具备良好的数学能力和推理能力。
• 长上下文处理：保留了长达128k token的长上下文处理能力。

📚 详细文档

模型详情

模型描述

模型版本

• Merged 16-bit - 适用于transformers的原始16位合并版本。
• GGUF - 不同的GGUF版本：BF16、F16、Q8_0、Q6_K、Q4_K_M、IQ4_XS等。

主要16位合并版本的基准测试

MERA

MERA得分：0.623

公开任务评估

💻 使用示例

基础用法

该模型可以与以下框架一起使用：

• vllm：详见 此处
• transformers：详见 此处
• llama.cpp：详见 此处

推荐的系统提示

prompts = {
    "generic": "你是一个虚拟助手。你回答人们的问题，帮助并支持他们。你被设计为有用、无害且诚实。你用提问者所使用的语言或用户要求的语言进行回答。",
    "think": """你是一个虚拟助手。你回答人们的问题，帮助并支持他们。你被设计为有用、无害且诚实。你用提问者所使用的语言或用户要求的语言进行回答。

请按照以下格式回答：
<think>推理过程：...</think>
...""",
    "task": "你是一个虚拟助手。你回答人们的问题，帮助并支持他们。你被设计为有用、无害且诚实。你用提问者所使用的语言或用户要求的语言进行回答。请根据以下说明解决问题。不要道歉，不要进行对话。",
    "task_think": """你是一个虚拟助手。你回答人们的问题，帮助并支持他们。你被设计为有用、无害且诚实。你用提问者所使用的语言或用户要求的语言进行回答。请根据以下说明解决问题。不要道歉，不要进行对话。

请按照以下格式回答：
<think>推理过程：...</think>
...""",
    "english_generic": """你是Mistral Small 3，一个由法国初创公司Mistral AI创建的大语言模型（LLM），该公司总部位于巴黎。
你的知识库最后更新于2023年10月1日。当前日期是2025年1月30日。
当你不确定某些信息时，你会表明你没有该信息，并且不会编造任何内容。
如果用户的问题不明确、模糊或没有提供足够的上下文让你准确回答问题，你不会立即尝试回答，而是会请用户澄清他们的请求（例如，“我附近有哪些好的餐厅？” => “你在哪里？” 或 “下一班去东京的航班是什么时候？” => “你从哪里出发？”）""",
    "english_think": """你是Mistral Small 3，一个由法国初创公司Mistral AI创建的大语言模型（LLM），该公司总部位于巴黎。
你的知识库最后更新于2023年10月1日。当前日期是2025年1月30日。
当你不确定某些信息时，你会表明你没有该信息，并且不会编造任何内容。
如果用户的问题不明确、模糊或没有提供足够的上下文让你准确回答问题，你不会立即尝试回答，而是会请用户澄清他们的请求（例如，“我附近有哪些好的餐厅？” => “你在哪里？” 或 “下一班去东京的航班是什么时候？” => “你从哪里出发？”）

请按照以下格式回答：
<think>推理过程：...</think>
"""
}

高级用法

vLLM

我们建议使用 vLLM库 来实现生产就绪的推理管道。

⚠️ 重要提示

• 建议使用相对较低的温度，例如 temperature=0.15。
• 确保为模型添加系统提示，以最好地满足你的需求。如果你想将模型用作通用助手，建议使用以下系统提示：

system_prompt = """你是Mistral Small 3，一个由法国初创公司Mistral AI创建的大语言模型（LLM），该公司总部位于巴黎。
你的知识库最后更新于2023年10月1日。当前日期是2025年1月30日。
当你不确定某些信息时，你会表明你没有该信息，并且不会编造任何内容。
如果用户的问题不明确、模糊或没有提供足够的上下文让你准确回答问题，你不会立即尝试回答，而是会请用户澄清他们的请求（例如，“我附近有哪些好的餐厅？” => “你在哪里？” 或 “下一班去东京的航班是什么时候？” => “你从哪里出发？”）"""

• 为了获得更好的性能，建议使用flash_attn或flashinfer-python。

安装

确保安装 vLLM >= 0.8.4：

pip install --upgrade vllm

同时确保安装了 mistral_common >= 1.5.4：

pip install --upgrade mistral_common

你也可以使用现成的 docker镜像 或在 docker hub 上的镜像。

服务器模式

建议在服务器/客户端设置中使用ZeroAgency/Zero-Mistral-24B。

1. 启动服务器：

vllm serveZeroAgency/Zero-Mistral-24B --enable-prefix-caching --dtype bfloat16 --max-model-len 32768 --tool-call-parser mistral --enable-auto-tool-choice

⚠️ 重要提示

在GPU上运行Zero-Mistral-24B需要约55GB的GPU显存（bf16或fp16）。

2. 可以使用以下简单的Python代码片段来测试客户端：

import requests
import json
from datetime import datetime, timedelta

url = "http://<your-server>:8000/v1/chat/completions"
headers = {"Content-Type": "application/json", "Authorization": "Bearer token"}

model = "ZeroAgency/Zero-Mistral-24B"

messages = [
    {
        "role": "system",
        "content": """你是一个虚拟助手。你回答人们的问题，帮助并支持他们。你被设计为有用、无害且诚实。你用提问者所使用的语言或用户要求的语言进行回答。请根据以下说明解决问题。不要道歉，不要进行对话。

请按照以下格式回答：
<think>推理过程：...</think>
..."""
    },
    { # 来自 https://3.shkolkovo.online/catalog/2552/93150 的任务
        "role": "user",
        "content": """第一个工人每小时比第二个工人多做9个零件，并且完成一个包含216个零件的订单比第二个工人快4个小时。第一个工人每小时做多少个零件？"""
    }
]

data = {"model": model, "messages": messages}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])

#<think> 设第二个工人每小时做x个零件。那么第一个工人每小时做x + 9个零件。列出表格：第一个工人 第二个工人 每小时零件数 x + 9 x 小时数 216 : (x + 9) 216 : x 小时数差值 4 216 : (x + 9) − 216 : x = 4 216x − 216(x + 9) = 4x(x + 9) 216x − 216x − 1944 = 4x^2 + 36x 1944 = 4x^2 + 36x 4x^2 + 36x − 1944 = 0 D = 36^2 + 4 · 4 · 1944 = 1296 + 31104 = 32400 = 180^2 x1 = −36 + 180 : 8 = 144 : 8 = 18 x2 = −36 − 180 : 8 < 0 — 不符合问题的实际意义。那么第一个工人每小时做18 + 9 = 27个零件。 </think>

离线模式

from vllm import LLM
from vllm.sampling_params import SamplingParams
from datetime import datetime, timedelta

# 注意：在GPU上运行此模型需要超过60GB的GPU显存
llm = LLM(model="ZeroAgency/Zero-Mistral-24B", tokenizer_mode="mistral", tensor_parallel_size=8)

SYSTEM_PROMPT = """你是一个虚拟助手。你回答人们的问题，帮助并支持他们。你被设计为有用、无害且诚实。你用提问者所使用的语言或用户要求的语言进行回答。

请按照以下格式回答：
<think>推理过程：...</think>
..."""

user_prompt = """9.9和9.11哪个更大？"""

messages = [
    {
        "role": "system",
        "content": SYSTEM_PROMPT
    },
    {
        "role": "user",
        "content": user_prompt
    }
]

sampling_params = SamplingParams(max_tokens=512, temperature=0.0, top_p=1, top_k=-1)
outputs = llm.chat(messages, sampling_params=sampling_params)

print(outputs[0].outputs[0].text)
#<think> 问题：比较9.9和9.11，确定哪个更大 方法：对齐小数点进行小数比较 难度：低到中等 我需要仔细对齐小数点并按位比较数字。 1. 对齐小数点：9.90 9.11 2. 比较整数部分：两者都是9，所以相等 3. 比较十分位：9.90的十分位是9，9.11的十分位是1 9 > 1，所以9.90更大 4. 比较百分位：9.90的百分位是0，9.11的百分位是1 0 < 1，但这无关紧要，因为十分位已经确定了较大的数字<reflection>我正确地对齐了小数点并按位比较了数字。我注意到十分位（9比1）确定了9.9大于9.11。百分位对于这个比较不是必需的。</reflection> <self_improvement>在未来的比较中，我将优先关注有差异的最左边的数字，以优化比较过程。</self_improvement> </think> 9.9大于9.11。当比较小数时，你从整数部分开始，然后到十分位、百分位等等。在这种情况下，9.9的十分位是9，而9.11的十分位是1。因为9 > 1，所以9.9大于9.11。 

Transformers

如果你想使用Hugging Face的transformers库来生成文本，可以这样做：

from transformers import pipeline
import torch

messages = [
    {"role": "user", "content": "9.9和9.11哪个更大？"}
]
chatbot = pipeline("text-generation", model="ZeroAgency/Zero-Mistral-24B", max_new_tokens=256, torch_dtype=torch.bfloat16)
response = chatbot(messages, temperature=0.1)
print(response[0]['generated_text'][1]['content'])
# 9.9大于9.11。

llama-server

你可以运行llama-server - 一个与OpenAI兼容的服务器，用于服务模型的 GGUF版本。

使用docker容器运行的示例：

docker run --gpus all -v `pwd`:/mnt -p8000:8000 ghcr.io/ggml-org/llama.cpp:server-cuda  -fa --port 8000 --host 0.0.0.0 --temp 0.0 --jinja -ngl 100 --api-key DUMMY-API-KEY -m /mnt/Zero-Mistral-24B-Q4_K_M_L.gguf

🔧 技术细节

碳排放可以使用 Lacoste等人（2019） 提出的 机器学习影响计算器 进行估算。

📄 许可证

本模型使用MIT许可证。