Thinkless 1.5B Warmup

🚀 Thinkless: LLM Learns When to Think

Thinklessは、タスクの複雑さとモデルの能力に基づいて、LLMが短形式と長形式の推論を適応的に選択できる学習可能なフレームワークです。強化学習パラダイムで訓練され、推論モードの選択と回答の精度向上を実現します。

✨ 主な機能

⚠️ 重要なメモ

大規模言語モデル（LLM）は、いつ思考すべきかを学習できるでしょうか？

我々はThinklessという学習可能なフレームワークを提案しています。これは、タスクの複雑さとモデルの能力の両方に基づいて、LLMが短形式と長形式の推論を適応的に選択できるようにします。Thinklessは強化学習パラダイムの下で訓練され、簡潔な応答用の<short>と詳細な推論用の<think>という2つの制御トークンを使用します。我々の方法の核心は、Decoupled Group Relative Policy Optimization (DeGRPO)アルゴリズムで、ハイブリッド推論の学習目標を2つの要素に分解します。(1)推論モードの選択を管理する制御トークン損失、(2)生成された回答の精度を向上させる応答損失です。この分離された定式化により、各目標の寄与を細かく制御でき、トレーニングを安定させ、バニラGRPOで見られる崩壊を効果的に防ぎます。実験的に、Minerva Algebra、MATH - 500、GSM8Kなどのいくつかのベンチマークで、Thinklessは長鎖思考の使用を50％ - 90％削減でき、推論言語モデルの計算コストを大幅に削減します。

🚀 クイックスタート

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Vinnnf/Thinkless-1.5B-Warmup"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

instruction = "Please reason step by step, and put your final answer within \\boxed{}."
prompt = f"{instruction}\nThe arithmetic mean of 7, 2, $x$ and 10 is 9. What is the value of $x$?"

messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

think_mode = True
if think_mode:
    text = f"{text}<think>"
else:
    text = f"{text}<short>"

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=4096
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
num_tokens = len(generated_ids[0])

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(text+response)
print(f"\nThink Mode: {think_mode}")
print(f"Number of tokens: {num_tokens}")

📚 ドキュメント

パイプライン

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。

引用

この研究が役に立った場合、以下のように引用してください。

@article{fang2025thinkless,
  title={Thinkless: LLM Learns When to Think},
  author={Fang, Gongfan and Ma, Xinyin and Wang, Xinchao},
  journal={arXiv preprint arXiv:2505.13379},
  year={2025}
}