Qwen3 0.6B Code Expert

🚀 Qwen3-0.6B-Code-Expert

本項目對Qwen3-0.6B語言模型進行全量微調，以增強其代碼推理和生成能力。訓練僅在nvidia/OpenCodeReasoning數據集上進行，並且使用bfloat16（bf16）數據類型對模型進行優化。

🚀 快速開始

此部分將為你介紹該項目的訓練流程，幫助你快速瞭解如何對模型進行訓練。

✨ 主要特性

• 通過在bf16精度下進行專門的單數據集訓練，顯著提升了模型理解、推理和生成代碼的能力。
• 輸出包含中間推理步驟和最終代碼解決方案，實現了透明且可解釋的代碼生成。

📚 詳細文檔

訓練流程

1. 數據集準備

• 使用nvidia/OpenCodeReasoning數據集。
• 每個示例由代碼片段和詳細的思維鏈（CoT）風格的逐步推理組成。

2. 模型加載與配置

• 通過unsloth庫以bf16精度加載Qwen3-0.6B基礎模型權重。
• 對所有層應用全量微調（full_finetuning=True），以實現對代碼推理的最佳適配。

3. 監督微調

• 使用Hugging Face TRL庫和監督微調（SFT）方法。
• 訓練模型生成正確的代碼解決方案以及相應的推理鏈。

📄 許可證

本項目採用Apache License 2.0許可。詳情請參閱LICENSE文件。

💡 支持

如果你想支持該項目，可以點擊下面的按鈕請作者喝咖啡：