ELYZA Thinking 1.0 Qwen 32B

🚀 ELYZA-Thinking-1.0-Qwen-32B

ELYZA-Thinking-1.0-Qwen-32B は ELYZA, Inc によって訓練された推論モデルです。このモデルは Qwen/Qwen2.5-32B-Instruct をベースに訓練され、後続の訓練により日本語での推論能力が強化されています（Qwenをベースに構築）。このモデルは日本語の推論ニーズを効果的に解決し、関連するアプリケーションに強力なサポートを提供します。

✨ 主な機能

• 強力な推論能力：Qwen/Qwen2.5-32B-Instruct モデルをベースに後続訓練を行い、日本語の推論タスクで優れた性能を発揮します。
• 独自の訓練方法：後続の訓練段階では、モンテカルロ木探索（MCTS）アルゴリズムに基づいて生成された長い思考チェーン（CoT）を含む合成データを使用し、模倣学習によって訓練されます。

💻 使用例

基本的な使用法

Hugging Face Transformers ライブラリを使用してこのモデルを利用することができます。以下は、このモデルを使用して推論を行うサンプルコードです。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "elyza/ELYZA-Thinking-1.0-Qwen-32B"
prompt = "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)
model.eval()
messages = [{"role": "user", "content": prompt}]
input_text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
token_ids = tokenizer.encode(
    input_text, add_special_tokens=False, return_tensors="pt"
)
with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=8192,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], skip_special_tokens=True
)
print(output)

高度な使用法

デプロイには、vLLM を使用してOpenAI互換のサーバーを作成することをおすすめします。

vllm serve elyza/ELYZA-Thinking-1.0-Qwen-32B \
    --tensor-parallel-size 8 \
    --max-model-len 32768 \
    --enable-reasoning \
    --reasoning-parser deepseek_r1

⚠️ 重要な注意事項

モデルが繰り返しのループに陥るのを防ぐために、temperature を0.5から0.7の間に設定し、top_p を0.95に設定することをおすすめします。

📚 ドキュメント

モデルの説明

ELYZA-Thinking-1.0-Qwen-32B は ELYZA, Inc によって訓練された推論モデルです。Qwen/Qwen2.5-32B-Instruct をベースに、後続の訓練により日本語での推論能力が強化されています（Qwenをベースに構築）。

後続の訓練段階では、モンテカルロ木探索（MCTS）に基づくアルゴリズムによって生成された長い思考チェーン（CoT）を含む合成データを使用し、模倣学習によって訓練されます。詳細な情報については、私たちのブログ記事 を参照してください。

引用情報

本モデルの引用

@misc{elyza2025thinking,
    title={elyza/ELYZA-Thinking-1.0-Qwen-32B},
    url={https://huggingface.co/elyza/ELYZA-Thinking-1.0-Qwen-32B},
    author={Masato Hirakawa and Tomoaki Nakamura and Akira Sasaki and Daisuke Oba and Shoetsu Sato},
    year={2025},
}

関連する引用

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}

📄 ライセンス

このプロジェクトは apache-2.0 ライセンスを採用しています。