license: apache-2.0 datasets:

• Congliu/Chinese-DeepSeek-R1-Distill-data-110k
• cognitivecomputations/dolphin-r1
• open-thoughts/OpenThoughts-114k
• qihoo360/Light-R1-SFTData
• qihoo360/Light-R1-DPOData language:
• zh
• en base_model:
• Zhihu-ai/Zhi-writing-dsr1-14b tags:
• qwen2 library_name: transformers

Zhi-writing-dsr1-14b

1. はじめに

Zhi-writing-dsr1-14bは、DeepSeek-R1-Distill-Qwen-14Bをベースにファインチューニングされたモデルで、特に創造的な文章作成能力を強化するために最適化されています。いくつかのベンチマーク評価では、このモデルの創造的文章作成能力が向上していることが示されています。

LLM Creative Story-Writing Benchmarkでは、ベースモデルの7.8に対して8.33のスコアを達成しました。WritingBench評価フレームワークでは、DeepSeek-R1-Distill-Qwen-14Bの7.93に対して8.46のスコアを記録しました。また、AlpacaEvalデータセットでGPT-4oを使用して評価したところ、ベースモデルと比較して**82.6%**の勝率を達成しました。

以下の図は、WritingBenchにおける各分野のパフォーマンス比較を示しています：

2. トレーニングプロセス

データ

モデルのトレーニングコーパスは、厳選されたオープンソースデータセット、連鎖思考推論コーパス、およびZhihuからキュレーションされた質疑応答ペアの3つの主要なデータソースで構成されています。

最適なドメインカバレッジを達成するため、Dolphin-r1、Congliu/Chinese-DeepSeek-R1-Distill-data-110k、OpenThoughts-114k、Light-R1-SFTData、Light-R1-DPODataなどのさまざまなデータセットの分布を慎重にバランス調整し、Zhihuの高品質なコンテンツと組み合わせました。すべてのデータセットは、Reward Model（RM）フィルタリングパイプラインを通じて包括的な品質保証を受けました。

トレーニング

教師ありファインチューニング（SFT）：カリキュラム学習戦略を採用し、体系的に創造的文章作成能力を向上させながら、多様なドメインデータを取り入れて中核的な能力を維持し、破滅的な忘れを軽減しました。

直接選好最適化（DPO）：最小編集距離のシナリオでは、Step-DPO（arxiv:2406.18629）を使用して誤ったトークンを選択的にペナルティ化し、DPOP（arXiv:2402.13228）で提案された正の制約を損失関数に組み込みました。

3. 評価結果

評価結果は、モデルの創造的文章作成能力が有望に向上していることを示しています。LLM Creative Story-Writing Benchmark評価では、ベースモデルの7.87から8.33に向上しました。WritingBenchで評価した場合、大規模言語モデルの文章能力を包括的に評価するフレームワークで、8.46のスコアを達成しました。これはDeepSeek-R1のパフォーマンスに近く、DeepSeek-R1-Distill-Qwen-14Bのスコア7.93から進歩しています。

一般的な能力に関しては、知識と推論タスク（CMMLU、MMLU-Pro）で2%–5%の控えめな改善が示され、AIME-2024、AIME-2025、GSM8Kなどのベンチマークで測定された数学的推論においても有望な進展が見られました。結果は、モデルがバランスの取れたパフォーマンスプロファイルを維持し、DeepSeek-R1-Distill-Qwen-14Bと比較して創造的文章作成、知識/推論、数学的タスク全体で改善が観察されたことを示しています。これらの特性により、さまざまな汎用アプリケーションに適している可能性があります。

4. ローカルでの実行方法

Zhi-writing-dsr1-14bは、80GBメモリを搭載したGPU、単一のH20/A800/H800、またはデュアルRTX 4090など、さまざまなハードウェア構成で展開できます。さらに、INT4量子化バージョンZhi-writing-dsr1-14b-gptq-int4は単一のRTX 4090で展開できます。

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

MODEL_NAME = "Zhihu-ai/Zhi-writing-dsr1-14b"
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)

# bf16を使用
# model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, device_map="auto", trust_remote_code=True, bf16=True).eval()
# fp16を使用
# model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, device_map="auto", trust_remote_code=True, fp16=True).eval()
# CPUのみを使用
# model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, device_map="cpu", trust_remote_code=True).eval()
# 自動モードを使用し、デバイスに基づいて精度を自動選択
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    device_map="auto",
    trust_remote_code=True
).eval()

# 生成用のハイパーパラメータを指定。ただし、transformers>=4.32.0を使用する場合、これは不要です。
# model.generation_config = GenerationConfig.from_pretrained(MODEL_NAME, trust_remote_code=True)

generate_configs = {
    "temperature": 0.6,
    "do_sample": True,
    "top_p": 0.95,
    "max_new_tokens": 4096
}

prompt = "魯迅の口調で、西湖酢魚を紹介する文章を書いてください"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    **generate_configs
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

ZhiLight

ZhiLightを使用して簡単にサービスを開始できます

docker run -it --net=host --gpus='"device=0"' -v /path/to/model:/mnt/models --entrypoints="" ghcr.io/zhihu/zhilight/zhilight:0.4.17-cu124 python -m zhilight.server.openai.entrypoints.api_server --model-path /mnt/models --port 8000 --enable-reasoning --reasoning-parser deepseek-r1 --served-model-name Zhi-writing-dsr1-14b

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Zhi-writing-dsr1-14b",
        "prompt": "魯迅の口調で、西湖酢魚を紹介する文章を書いてください",
        "max_tokens": 4096,
        "temperature": 0.6,
        "top_p": 0.95
    }'

vllm

例えば、vLLMを使用して簡単にサービスを開始できます

# vllmをインストール
pip install vllm>=0.6.4.post1

# huggingfaceモデルID
vllm serve Zhihu-ai/Zhi-writing-dsr1-14b --served-model-name Zhi-writing-dsr1-14b --port 8000

# ローカルパス
vllm serve /path/to/model --served-model-name Zhi-writing-dsr1-14b --port 8000

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Zhi-writing-dsr1-14b",
        "prompt": "魯迅の口調で、西湖酢魚を紹介する文章を書いてください",
        "max_tokens": 4096,
        "temperature": 0.6,
        "top_p": 0.95
    }'

SGLang

SGLangを使用して簡単にサービスを開始することもできます

# SGLangをインストール
pip install "sglang[all]>=0.4.5" --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python

# huggingfaceモデルID 
python -m sglang.launch_server --model-path Zhihu-ai/Zhi-writing-dsr1-14b --served-model-name Zhi-writing-dsr1-14b --port 8000

# ローカルパス
python -m sglang.launch_server --model-path /path/to/model  --served-model-name Zhi-writing-dsr1-14b --port 8000

# リクエストを送信
curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Zhi-writing-dsr1-14b",
        "prompt": "魯迅の口調で、西湖酢魚を紹介する文章を書いてください",
        "max_tokens": 4096,
        "temperature": 0.6,
        "top_p": 0.95
    }'

ollama

こちらからollamaをダウンロードできます

• 量子化: Q4_K_M

ollama run zhihu/zhi-writing-dsr1-14b

• bf16

ollama run zhihu/zhi-writing-dsr1-14b:bf16

5. 使用上の推奨事項

Zhi-writing-dsr1-14bを使用する際（ベンチマークを含む）は、以下の設定を遵守することを推奨します：

• 温度を0.5-0.7の範囲（推奨0.6）に設定し、無限の繰り返しや支離滅裂な出力を防ぎます。

• モデルパフォーマンスを評価する際は、複数回テストを行い結果を平均化することを推奨します。（数学タスクにはn=16とmax_tokens=32768、その他にはn=2を使用）

• DeepSeek-R1シリーズモデルのようにモデルが徹底的な推論を行うことを保証するため、すべての出力の冒頭に"<think>\n"で応答を開始することを強制することを推奨します。

6. 引用

@misc{Zhi-writing-dsr1-14b,
      title={Zhi-writing-dsr1-14b: カリキュラム強化学習と直接選好最適化によるLLMの堅牢な創造的文章作成}, 
      author={Jiewu Wang, Xu Chen, Wenyuan Su, Chao Huang, Hongkui Gao, Lin Feng, Shan Wang, Lu Xu, Penghe Liu, Zebin Ou},
      year={2025},
      eprint={},
      archivePrefix={},
      url={https://huggingface.co/Zhihu-ai/Zhi-writing-dsr1-14b}, 
}

7. 連絡先

質問がある場合は、イシューを立てるか、ai@zhihu.comまでご連絡ください。