360zhinao3 7B O1.5

🚀 360Zhinao3 (360智腦)

360智腦3是奇虎360開源並升級的模型，具備多種能力且可免費商用。其在多個基準測試中表現優異，為自然語言處理等領域提供了強大支持。

歡迎訪問360智腦的官方網站 https://ai.360.com 進行更多體驗。

🚀 快速開始

使用🤗Transformers快速使用模型

以下是使用🤗Transformers快速使用360Zhinao3-7B、360Zhinao3-7B-Instruct和360Zhinao3-7B-O1.5的簡單示例。

基礎模型推理示例

from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao3-7B"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH, 
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True).cuda()

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)
generation_config.max_new_tokens = 1024

inputs = tokenizer('中國二十四節氣\n1. 立春\n2. 雨水\n3. 驚蟄\n4. 春分\n5. 清明\n', return_tensors='pt')
inputs = inputs.to(model.device)

pred = model.generate(input_ids=inputs["input_ids"], generation_config=generation_config)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

指令模型推理示例

from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao3-7B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True).cuda()

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)
generation_config.max_new_tokens = 2048

messages = []

#round-1
print(f"user: 簡單介紹一下劉德華")
messages.append({"role": "user", "content": "簡單介紹一下劉德華"})
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device)
pred = model.generate(input_ids=input_ids, generation_config=generation_config)
response = tokenizer.decode(pred.cpu()[0][len(input_ids[0]):], skip_special_tokens=True)
messages.append({"role": "assistant", "content": response})
print(f"gpt: {response}")


#round-1
print(f"user: 他有什麼代表作?")
messages.append({"role": "user", "content": "他有什麼代表作?"})
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device)
pred = model.generate(input_ids=input_ids, generation_config=generation_config)
response = tokenizer.decode(pred.cpu()[0][len(input_ids[0]):], skip_special_tokens=True)
messages.append({"role": "assistant", "content": response})
print(f"gpt: {response}")

長思維鏈模型推理示例

import re
import json
from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao3-7B-O1.5"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True).cuda()

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)
generation_config.max_new_tokens = 2048


def extract_thinking_and_answer(input_string):
    thinking, answer = "", ""
    # 提取答案
    pattern_answer = r'.*</think>(.*)$'
    match_answer = re.search(pattern_answer, input_string, re.S)
    if match_answer:
        answer = match_answer.group(1)
    else:
        return thinking, input_string

    # 提取思考過程
    pattern_thinking = r'<think>(.*?)</think>'
    match_thinking = re.search(pattern_thinking, input_string, re.S)
    if match_thinking:
        thinking = match_thinking.group(1)

    return thinking, answer


messages = []
messages.append({"role": "user", "content": "現有一籠子，裡面有雞和兔子若干只，數一數，共有頭14個，腿38條，求雞和兔子各有多少隻？"})
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device)
pred = model.generate(input_ids=input_ids, generation_config=generation_config)
response = tokenizer.decode(pred.cpu()[0][len(input_ids[0]):], skip_special_tokens=True)
thinking, answer = extract_thinking_and_answer(response)
messages.append({"role": "assistant", "content": answer, "reasoning_content": thinking})
print(json.dumps(messages, ensure_ascii=False, indent=4))

✨ 主要特性

• 開源升級：奇虎360開源並升級了自研的7B參數模型360Zhinao3-7B，現已在Github開源社區360zhinao3發佈，可免費用於商業用途。
• 性能提升：360Zhinao3-7B在360Zhinao2-7B的基礎上使用700B高質量token進行持續預訓練，模型性能的提升主要源於訓練數據質量的提高。
• 多場景適用：提供了基礎模型、指令模型和長思維鏈模型等多種類型，滿足不同場景的需求。

📦 下載地址

📚 詳細文檔

模型評估

基礎模型

使用開源工具opencompass對模型進行了多維度評估，該模型在小於10B參數的模型中基準平均得分排名第一，在同規模模型中具有競爭力。

指令模型

在IFEval、MT - bench和CF - Bench三個流行評估中對360Zhinao3 - 7B - Instruct模型進行了評估和比較。MT - bench和CFBench在同級別開源模型中均排名第一，具有較強的競爭力。在IFEval（嚴格提示）中，僅次於glm4 - 9b，在7B規模中得分最高。

長思維鏈模型

使用之前開源的智腦[Light - R1](https://github.com/Qihoo360/Light - R1)方法對360Zhinao3 - 7B - Instruct的長思維鏈進行了繼續微調，以及RFT和GRPO。與最新的OpenThinker2 - 7B相比仍有一定差距，但超越了所有基於通用Qwen2.5 - 7B - Instruct的先前模型。

模型推理

部署

vLLM安裝

推薦使用 vllm==0.6.0。

如果使用 CUDA 12.1和PyTorch 2.1，可以直接使用以下命令安裝vLLM：

pip install  vllm==0.6.0

否則，請參考vLLM官方安裝說明。

安裝完成後，執行以下步驟：

1. 將 vllm/zhinao.py 複製到vllm安裝目錄（python/conda環境）下的 vllm/model_executor/models 中。
2. 然後在 vllm/model_executor/models/__init__.py 中添加一行：

"ZhinaoForCausalLM": ("zhinao", "ZhinaoForCausalLM"),

vLLM服務啟動

啟動服務：

python -m vllm.entrypoints.openai.api_server \
    --model qihoo360/360Zhinao3-7B-O1.5 \
    --served-model-name 360Zhinao3-7B-O1.5 \
    --port 8360 \
    --host 0.0.0.0 \
    --dtype bfloat16 \
    --tensor-parallel-size 4 \
    --gpu-memory-utilization 0.8 \
    --trust-remote-code

使用curl請求服務：

curl http://localhost:8360/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
    "model": "360Zhinao3-7B-O1.5",
    "max_tokens": 200,
    "top_k": -1,
    "top_p": 0.8,
    "temperature": 1.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0,
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你好"}
    ],
    "stop": [
        "<eod>",
        "<|im_end|>",
        "<|im_start|>"
    ]
}'

使用python請求服務：

from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8360/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="360Zhinao3-7B-O1.5",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你好"},
    ],
    stop=[
        "<eod>",
        "<|im_end|>",
        "<|im_start|>"
    ],
    presence_penalty=0.0,
    frequency_penalty=0.0
)
print("Chat response:", chat_response)

⚠️ 重要提示

如果需要啟用重複懲罰，建議設置 presence_penalty 和 frequency_penalty 而不是 repetition_penalty。

模型微調

訓練數據

訓練數據：data/training_data_sample.json。此示例數據從 multiturn_chat_0.8M 中採樣了10000行並進行了格式轉換。

數據格式：

[
  {
    "id": 1,
    "conversations": [
        {
            "from": "system",
            "value": "You are a helpful assistant."
        },
        {
            "from": "user",
            "value": "您好啊"
        },
        {
            "from": "assistant",
            "value": "你好！我今天能為您做些什麼？有什麼問題或需要幫助嗎? 我在這裡為您提供服務。"
        }
    ]
  }
]

微調腳本

set -x

HOSTFILE=hostfile
DS_CONFIG=./finetune/ds_config_zero2.json

# PARAMS
LR=5e-6
EPOCHS=3
MAX_LEN=32768
BATCH_SIZE=4
NUM_NODES=1
NUM_GPUS=8
MASTER_PORT=29500

IS_CONCAT=False # Whether to concatenate to maximum length (MAX_LEN)

DATA_PATH="./data/training_data_sample.json"
MODEL_PATH="qihoo360/360Zhinao3-7B-Instruct"
OUTPUT_DIR="./outputs/"

deepspeed --hostfile ${HOSTFILE} \
        --master_port ${MASTER_PORT} \
        --num_nodes ${NUM_NODES} \
        --num_gpus ${NUM_GPUS} \
        finetune.py \
        --report_to "tensorboard" \
        --data_path ${DATA_PATH} \
        --model_name_or_path ${MODEL_PATH} \
        --output_dir ${OUTPUT_DIR} \
        --model_max_length ${MAX_LEN} \
        --num_train_epochs ${EPOCHS} \
        --per_device_train_batch_size ${BATCH_SIZE} \
        --gradient_accumulation_steps 1 \
        --save_strategy steps \
        --save_steps 200 \
        --learning_rate ${LR} \
        --lr_scheduler_type cosine \
        --adam_beta1 0.9 \
        --adam_beta2 0.95 \
        --adam_epsilon 1e-8 \
        --max_grad_norm 1.0 \
        --weight_decay 0.1 \
        --warmup_ratio 0.01 \
        --gradient_checkpointing True \
        --bf16 True \
        --tf32 True \
        --deepspeed ${DS_CONFIG} \
        --is_concat ${IS_CONCAT} \
        --logging_steps 1 \
        --log_on_each_node False

bash finetune/ds_finetune.sh

• 配置 HOSTFILE 可在單機和多機訓練之間切換。
• 配置 ds_config 可在zero1、zero2和zero3之間切換。
• fp16, bf16 可配置混合精度訓練，建議使用bf16以與預訓練模型保持一致。
• is_concat 配置訓練數據是否拼接。

📄 許可證

本倉庫的源代碼遵循開源許可證Apache 2.0。

360Zhinao3開源模型支持免費商業使用，無需提交商業使用申請。