Thinkedit Deepseek Llama3 8b

🚀 ThinkEdit-deepseek-llama3-8b項目

本項目主要圍繞ThinkEdit模型展開，該模型是一種輕量級權重編輯方法，可解決推理增強模型在生成思維鏈推理時過短、抽象的問題，有效提升模型性能，尤其是在短推理軌跡的情況下。

🚀 快速開始

本項目暫未提供快速開始的相關內容。

✨ 主要特性

• 輕量級權重編輯：ThinkEdit方法能夠識別約2%的“短推理”注意力頭，並僅編輯約0.1%的總參數。
• 去除短推理方向：從輸出中去除“短推理”方向，從而提升模型性能。
• 性能提升顯著：在多個數據集上，ThinkEdit模型相較於原始模型在準確性和推理長度上都有明顯提升。

📚 詳細文檔

項目信息

• 倉庫地址：ThinkEdit
• 作者：Chung-En Sun, Ge Yan, Tsui-Wei Weng
• 論文：ThinkEdit: Interpretable Weight Editing to Mitigate Overly Short Thinking in Reasoning Models

引言

推理增強模型有時會生成過短、抽象的思維鏈（CoT）推理，從而影響其準確性。ThinkEdit是一種輕量級的權重編輯方法，旨在解決這一問題。

完整性能結果

1. 整體準確率

2. 短推理案例的準確率（前5% / 10% / 20%）

3. 推理長度（前5% / 10% / 20%最短響應）

使用方法

ThinkEdit模型的使用方法與原始的deepseek-distilled模型完全相同。

引用信息

@misc{sun2025thinkedit,
      title={ThinkEdit: Interpretable Weight Editing to Mitigate Overly Short Thinking in Reasoning Models},
      author={Chung-En Sun and Ge Yan and Tsui-Wei Weng},
      year={2025},
      eprint={2503.22048},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.22048},
}

📄 許可證

本項目採用MIT許可證。