360zhinao3 7B O1.5

🚀 360Zhinao3 (360智脑)

360Zhinao3は、奇虎360が開発したAIモデルです。このモデルは、多様なタスクで優れた性能を発揮し、GitHubやHugging Faceでオープンソースとして公開されています。商用利用も無料で可能です。

360Zhinaoの公式ウェブサイト https://ai.360.com をご覧いただき、より詳しい体験をお楽しみください。

✨ 主な機能

• 360Zhinao3-7Bは、360Zhinao2-7Bをベースに700Bの高品質トークンで継続的に事前学習されています。
• モデルの性能向上は、主に学習データの品質向上に起因しています。
• 360Zhinao3シリーズのモデルは、多くのベンチマークで優れた結果を達成しています。

📦 ニュースと更新情報

• [2025.04.14] 🔥🔥🔥360Zhinao3シリーズのモデルをリリースし、360Zhinao3-7B、360Zhinao3-7B-Instruct、および長思考チェーンモデル360Zhinao3-7B-O1.5を公開しました。
• [2024.11.18] 360Zhinao2-7Bをリリースし、Baseモデルとテキスト長4K、32K、360KのChatモデルへのアクセスを提供します。
• [2024.05.23] 2つのモデル、360Zhinao-searchと360Zhinao-1.8B-Rerankingをリリースし、C-MTEB LeaderboardのRetrievalとRerankingタスクでそれぞれ1位にランクインしました。
• [2024.05.20] llama3を拡張し、llama3-8B-360Zhinao-360k-Instruct🤗をリリースしました。
• [2024.04.12] 360Zhinao-7B v1.0をリリースし、ベースモデルとコンテキスト長4K、32K、360Kの3つのチャットモデルを含みます。技術レポートはarXivにあります。

📚 目次

• ダウンロードURL
• モデル評価
• クイックスタート
• モデル推論
• モデル微調整
• ライセンス

📦 ダウンロードURL

📊 モデル評価

ベースモデル

オープンソースツールのopencompassを使用して、モデルの多次元評価を行いました。モデルのベンチマーク平均スコアは、10B未満のパラメータを持つモデルの中で1位です。同じサイズのモデルと比較して競争力があります。

インストラクションモデル

360Zhinao3-7B-Instructモデルを、IFEval、MT-bench、およびCF-Benchの3つの人気評価で評価し、比較しました。MT-benchとCFBenchは、同レベルのオープンソースモデルの中でどちらも1位で、強い競争力を持っています。IFEval（プロンプト厳格）では、glm4-9bに次いで2位で、7Bサイズで最高のスコアを獲得しています。

長思考チェーンモデル

以前にオープンソース化された知脑のLight-R1手法を使用して、360Zhinao3-7B-Instructの長思考チェーン、およびRFTとGRPOの微調整を続けました。最新のOpenThinker2-7Bと比較するとまだ一定のギャップがありますが、一般的なQwen2.5-7B-Instructをベースとしたこれまでのすべてのモデルを上回っています。

💻 使用例

クイックスタート

🤗Transformersを使用して、360Zhinao3-7B、360Zhinao3-7B-Instruct、および360Zhinao3-7B-O1.5をすぐに使う方法を説明する簡単な例です。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao3-7B"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH, 
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True).cuda()

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)
generation_config.max_new_tokens = 1024

inputs = tokenizer('中国二十四节气\n1. 立春\n2. 雨水\n3. 惊蛰\n4. 春分\n5. 清明\n', return_tensors='pt')
inputs = inputs.to(model.device)

pred = model.generate(input_ids=inputs["input_ids"], generation_config=generation_config)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

インストラクションモデル推論のデモ

from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao3-7B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True).cuda()

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)
generation_config.max_new_tokens = 2048

messages = []

#round-1
print(f"user: 简单介绍一下刘德华")
messages.append({"role": "user", "content": "简单介绍一下刘德华"})
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device)
pred = model.generate(input_ids=input_ids, generation_config=generation_config)
response = tokenizer.decode(pred.cpu()[0][len(input_ids[0]):], skip_special_tokens=True)
messages.append({"role": "assistant", "content": response})
print(f"gpt: {response}")


#round-1
print(f"user: 他有什么代表作?")
messages.append({"role": "user", "content": "他有什么代表作?"})
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device)
pred = model.generate(input_ids=input_ids, generation_config=generation_config)
response = tokenizer.decode(pred.cpu()[0][len(input_ids[0]):], skip_special_tokens=True)
messages.append({"role": "assistant", "content": response})
print(f"gpt: {response}")

長思考チェーンモデル推論のデモ

import re
import json
from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao3-7B-O1.5"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True).cuda()

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)
generation_config.max_new_tokens = 2048


def extract_thinking_and_answer(input_string):
    thinking, answer = "", ""
    # 提取答案
    pattern_answer = r'.*</think>(.*)$'
    match_answer = re.search(pattern_answer, input_string, re.S)
    if match_answer:
        answer = match_answer.group(1)
    else:
        return thinking, input_string

    # 提取思考过程
    pattern_thinking = r'<think>(.*?)</think>'
    match_thinking = re.search(pattern_thinking, input_string, re.S)
    if match_thinking:
        thinking = match_thinking.group(1)

    return thinking, answer


messages = []
messages.append({"role": "user", "content": "现有一笼子，里面有鸡和兔子若干只，数一数，共有头14个，腿38条，求鸡和兔子各有多少只？"})
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device)
pred = model.generate(input_ids=input_ids, generation_config=generation_config)
response = tokenizer.decode(pred.cpu()[0][len(input_ids[0]):], skip_special_tokens=True)
thinking, answer = extract_thinking_and_answer(response)
messages.append({"role": "assistant", "content": answer, "reasoning_content": thinking})
print(json.dumps(messages, ensure_ascii=False, indent=4))

🔧 モデル推論

デプロイメント

vLLMのインストール

vllm==0.6.0の使用をお勧めします。

CUDA 12.1とPyTorch 2.1を使用している場合は、次のコマンドで直接vLLMをインストールできます。

pip install  vllm==0.6.0

それ以外の場合は、公式のvLLM インストール手順を参照してください。

インストール後、次の手順を実行します。

1. vllm/zhinao.pyを、vLLMのインストールディレクトリ（python/conda環境）のvllm/model_executor/modelsにコピーします。
2. 次に、vllm/model_executor/models/__init__.pyに次の行を追加します。

"ZhinaoForCausalLM": ("zhinao", "ZhinaoForCausalLM"),

vLLMサービスの起動

サービスを起動します。

python -m vllm.entrypoints.openai.api_server \
    --model qihoo360/360Zhinao3-7B-O1.5 \
    --served-model-name 360Zhinao3-7B-O1.5 \
    --port 8360 \
    --host 0.0.0.0 \
    --dtype bfloat16 \
    --tensor-parallel-size 4 \
    --gpu-memory-utilization 0.8 \
    --trust-remote-code

curlを使用してサービスにリクエストを送信します。

curl http://localhost:8360/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
    "model": "360Zhinao3-7B-O1.5",
    "max_tokens": 200,
    "top_k": -1,
    "top_p": 0.8,
    "temperature": 1.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0,
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你好"}
    ],
    "stop": [
        "<eod>",
        "<|im_end|>",
        "<|im_start|>"
    ]
}'

Pythonを使用してサービスにリクエストを送信します。

from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8360/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="360Zhinao3-7B-O1.5",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你好"},
    ],
    stop=[
        "<eod>",
        "<|im_end|>",
        "<|im_start|>"
    ],
    presence_penalty=0.0,
    frequency_penalty=0.0
)
print("Chat response:", chat_response)

繰り返しペナルティを有効にする必要がある場合は、repetition_penaltyではなくpresence_penaltyとfrequency_penaltyの設定をお勧めします。

🔧 モデル微調整

学習データ

学習データ: data/training_data_sample.json。このサンプルデータは、multiturn_chat_0.8Mからサンプリングされた10,000行のデータで、形式が変換されています。

データ形式:

[
  {
    "id": 1,
    "conversations": [
        {
            "from": "system",
            "value": "You are a helpful assistant."
        },
        {
            "from": "user",
            "value": "您好啊"
        },
        {
            "from": "assistant",
            "value": "你好！我今天能为您做些什么？有什么问题或需要帮助吗? 我在这里为您提供服务。"
        }
    ]
  }
]

微調整スクリプト

set -x

HOSTFILE=hostfile
DS_CONFIG=./finetune/ds_config_zero2.json

# PARAMS
LR=5e-6
EPOCHS=3
MAX_LEN=32768
BATCH_SIZE=4
NUM_NODES=1
NUM_GPUS=8
MASTER_PORT=29500

IS_CONCAT=False # Whether to concatenate to maximum length (MAX_LEN)

DATA_PATH="./data/training_data_sample.json"
MODEL_PATH="qihoo360/360Zhinao3-7B-Instruct"
OUTPUT_DIR="./outputs/"

deepspeed --hostfile ${HOSTFILE} \
        --master_port ${MASTER_PORT} \
        --num_nodes ${NUM_NODES} \
        --num_gpus ${NUM_GPUS} \
        finetune.py \
        --report_to "tensorboard" \
        --data_path ${DATA_PATH} \
        --model_name_or_path ${MODEL_PATH} \
        --output_dir ${OUTPUT_DIR} \
        --model_max_length ${MAX_LEN} \
        --num_train_epochs ${EPOCHS} \
        --per_device_train_batch_size ${BATCH_SIZE} \
        --gradient_accumulation_steps 1 \
        --save_strategy steps \
        --save_steps 200 \
        --learning_rate ${LR} \
        --lr_scheduler_type cosine \
        --adam_beta1 0.9 \
        --adam_beta2 0.95 \
        --adam_epsilon 1e-8 \
        --max_grad_norm 1.0 \
        --weight_decay 0.1 \
        --warmup_ratio 0.01 \
        --gradient_checkpointing True \
        --bf16 True \
        --tf32 True \
        --deepspeed ${DS_CONFIG} \
        --is_concat ${IS_CONCAT} \
        --logging_steps 1 \
        --log_on_each_node False

bash finetune/ds_finetune.sh

• HOSTFILEを設定することで、単一マシンと複数マシンのトレーニングを切り替えることができます。
• ds_configを設定することで、zero1、zero2、およびzero3を切り替えることができます。
• fp16, bf16で混合精度トレーニングを構成できます。事前学習モデルと一致させるために、bf16が推奨されます。
• is_concatで、学習データを連結するかどうかを構成します。

📄 ライセンス

このリポジトリのソースコードは、オープンソースライセンスのApache 2.0に従います。 360Zhinao3のオープンソースモデルは、無料で商用利用が可能です。商用利用のための申請をする必要はありません。