ELYZA Thinking 1.0 Qwen 32B

🚀 ELYZA-Thinking-1.0-Qwen-32B

ELYZA-Thinking-1.0-Qwen-32B 是由 ELYZA, Inc 訓練的推理模型。它基於 Qwen/Qwen2.5-32B-Instruct 進行訓練，通過後續訓練增強了其在日語中的推理能力（基於Qwen構建）。該模型能夠有效解決日語場景下的推理需求，為相關應用提供強大的支持。

✨ 主要特性

• 強大的推理能力：基於 Qwen/Qwen2.5-32B-Instruct 模型進行後續訓練，在日語推理任務上表現出色。
• 獨特的訓練方式：在後續訓練階段，使用基於蒙特卡羅樹搜索（MCTS）算法生成的包含長思維鏈（CoT）的合成數據，通過模仿學習進行訓練。

📦 安裝指南

暫未提供安裝步驟相關內容。

💻 使用示例

基礎用法

你可以使用 Hugging Face Transformers 庫來使用該模型。以下是如何使用該模型進行推理的示例代碼：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "elyza/ELYZA-Thinking-1.0-Qwen-32B"
prompt = "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)
model.eval()
messages = [{"role": "user", "content": prompt}]
input_text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
token_ids = tokenizer.encode(
    input_text, add_special_tokens=False, return_tensors="pt"
)
with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=8192,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], skip_special_tokens=True
)
print(output)

高級用法

對於部署，建議使用 vLLM 來創建一個與OpenAI兼容的服務器。

vllm serve elyza/ELYZA-Thinking-1.0-Qwen-32B \
    --tensor-parallel-size 8 \
    --max-model-len 32768 \
    --enable-reasoning \
    --reasoning-parser deepseek_r1

⚠️ 重要提示

建議將 temperature 設置在 0.5 到 0.7 之間，並使用 0.95 的 top_p 值，以防止模型陷入重複循環。

📚 詳細文檔

模型描述

ELYZA-Thinking-1.0-Qwen-32B 是由 ELYZA, Inc 訓練的推理模型。基於 Qwen/Qwen2.5-32B-Instruct，該模型經過後續訓練，增強了其在日語中的推理能力（基於Qwen構建）。

在後續訓練階段，該模型使用包含長思維鏈（CoT）的合成數據，通過模仿學習進行訓練，這些合成數據是通過基於蒙特卡羅樹搜索（MCTS）的算法生成的。更多詳細信息，請參考 我們的博客文章。

引用信息

本模型引用

@misc{elyza2025thinking,
    title={elyza/ELYZA-Thinking-1.0-Qwen-32B},
    url={https://huggingface.co/elyza/ELYZA-Thinking-1.0-Qwen-32B},
    author={Masato Hirakawa and Tomoaki Nakamura and Akira Sasaki and Daisuke Oba and Shoetsu Sato},
    year={2025},
}

相關引用

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}

📄 許可證

本項目採用 apache-2.0 許可證。