ELYZA Thinking 1.0 Qwen 32B

🚀 ELYZA-Thinking-1.0-Qwen-32B

ELYZA-Thinking-1.0-Qwen-32B 是由 ELYZA, Inc 训练的推理模型。它基于 Qwen/Qwen2.5-32B-Instruct 进行训练，通过后续训练增强了其在日语中的推理能力（基于Qwen构建）。该模型能够有效解决日语场景下的推理需求，为相关应用提供强大的支持。

✨ 主要特性

• 强大的推理能力：基于 Qwen/Qwen2.5-32B-Instruct 模型进行后续训练，在日语推理任务上表现出色。
• 独特的训练方式：在后续训练阶段，使用基于蒙特卡罗树搜索（MCTS）算法生成的包含长思维链（CoT）的合成数据，通过模仿学习进行训练。

📦 安装指南

暂未提供安装步骤相关内容。

💻 使用示例

基础用法

你可以使用 Hugging Face Transformers 库来使用该模型。以下是如何使用该模型进行推理的示例代码：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "elyza/ELYZA-Thinking-1.0-Qwen-32B"
prompt = "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)
model.eval()
messages = [{"role": "user", "content": prompt}]
input_text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
token_ids = tokenizer.encode(
    input_text, add_special_tokens=False, return_tensors="pt"
)
with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=8192,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], skip_special_tokens=True
)
print(output)

高级用法

对于部署，建议使用 vLLM 来创建一个与OpenAI兼容的服务器。

vllm serve elyza/ELYZA-Thinking-1.0-Qwen-32B \
    --tensor-parallel-size 8 \
    --max-model-len 32768 \
    --enable-reasoning \
    --reasoning-parser deepseek_r1

⚠️ 重要提示

建议将 temperature 设置在 0.5 到 0.7 之间，并使用 0.95 的 top_p 值，以防止模型陷入重复循环。

📚 详细文档

模型描述

ELYZA-Thinking-1.0-Qwen-32B 是由 ELYZA, Inc 训练的推理模型。基于 Qwen/Qwen2.5-32B-Instruct，该模型经过后续训练，增强了其在日语中的推理能力（基于Qwen构建）。

在后续训练阶段，该模型使用包含长思维链（CoT）的合成数据，通过模仿学习进行训练，这些合成数据是通过基于蒙特卡罗树搜索（MCTS）的算法生成的。更多详细信息，请参考 我们的博客文章。

引用信息

本模型引用

@misc{elyza2025thinking,
    title={elyza/ELYZA-Thinking-1.0-Qwen-32B},
    url={https://huggingface.co/elyza/ELYZA-Thinking-1.0-Qwen-32B},
    author={Masato Hirakawa and Tomoaki Nakamura and Akira Sasaki and Daisuke Oba and Shoetsu Sato},
    year={2025},
}

相关引用

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}

📄 许可证

本项目采用 apache-2.0 许可证。