Thinkedit Deepseek Qwen 14b

🚀 ThinkEdit-deepseek-qwen-14b

ThinkEdit-deepseek-qwen-14bは、推論モデルにおける過度に短い思考を軽減するための軽量な重み編集手法「ThinkEdit」を適用したモデルです。この手法は、特定の注意ヘッドを識別し、わずかなパラメータを編集することで、モデルの性能を向上させます。

🚀 クイックスタート

このリポジトリは、ThinkEdit-deepseek-qwen-14bに関する情報を提供しています。また、ThinkEdit-deepseek-qwen-1.5bおよびThinkEdit-deepseek-llama3-8bのThinkEditバージョンも公開しています。

著者: Chung-En Sun, Ge Yan, Tsui-Wei Weng 論文: ThinkEdit: Interpretable Weight Editing to Mitigate Overly Short Thinking in Reasoning Models コード: https://github.com/Trustworthy-ML-Lab/ThinkEdit

✨ 主な機能

推論強化モデルは、時に過度に短い抽象的な思考過程（CoT）推論を生成することで失敗し、精度が低下することがあります。ThinkEditは、以下のような軽量な重み編集手法です。

• 約2%の「短い推論」注意ヘッドを識別する
• 総パラメータの約0.1%のみを編集する
• 出力から「短い推論」の方向を削除する
• 特に短い推論トレースのケースで性能を向上させる

📚 ドキュメント

1. 全体的な精度

2. 短い推論ケースでの精度 (Top 5% / 10% / 20%)

3. 推論長 (Top 5% / 10% / 20% 最短応答)

💻 使用例

ThinkEditモデルの使用方法は、元のdeepseek-distilledモデルとまったく同じです。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

@misc{sun2025thinkedit,
      title={ThinkEdit: Interpretable Weight Editing to Mitigate Overly Short Thinking in Reasoning Models}, 
      author={Chung-En Sun and Ge Yan and Tsui-Wei Weng},
      year={2025},
      eprint={2503.22048},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.22048}, 
}