ELYZA Shortcut 1.0 Qwen 32B

🚀 ELYZA-Shortcut-1.0-Qwen-32B

ELYZA-Shortcut-1.0-Qwen-32B は、推論モデル ELYZA-Thinking-1.0-Qwen-32B の開発過程で派生した非推論モデルです。このモデルは Qwen/Qwen2.5-32B-Instruct をベースに、段階的な推論プロセスを省略し、直接最終的な答えを生成するように事後学習されています（Qwenで構築）。

🚀 クイックスタート

このモデルは、Hugging Face Transformers ライブラリを使用して利用することができます。以下のコードは、このモデルを推論に使用する方法の例です。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "elyza/ELYZA-Shortcut-1.0-Qwen-32B"
prompt = "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)
model.eval()
messages = [{"role": "user", "content": prompt}]
input_text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
token_ids = tokenizer.encode(
    input_text, add_special_tokens=False, return_tensors="pt"
)
with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=8192,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
    )
output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], skip_special_tokens=True
)
print(output)

デプロイには、vLLM を使用してOpenAI互換サーバーを作成することをおすすめします。

vllm serve elyza/ELYZA-Shortcut-1.0-Qwen-32B \
    --tensor-parallel-size 8 \
    --max-model-len 32768

✨ 主な機能

このモデルは、ベースモデルとして Qwen/Qwen2.5-32B-Instruct を使用しています。事後学習フェーズでは、Monte Carlo Tree Search (MCTS) ベースのアルゴリズムを通じて探索された最適な推論パスから推論ステップを削除した問題と解のペアを使用して、教師あり微調整 (SFT) で学習されています。詳細については、ブログ記事 を参照してください。

📚 ドキュメント

モデル情報

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。

🔗 引用方法

本モデルの引用

@misc{elyza2025thinking,
    title={elyza/ELYZA-Thinking-1.0-Qwen-32B},
    url={https://huggingface.co/elyza/ELYZA-Thinking-1.0-Qwen-32B},
    author={Masato Hirakawa and Tomoaki Nakamura and Akira Sasaki and Daisuke Oba and Shoetsu Sato},
    year={2025},
}

関連文献の引用

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@article{qwen2,
      title={Qwen2 Technical Report},
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}