Tinyv 1.5B

🚀 微調版Qwen2.5-1.5B-Instruct模型

本項目基於Qwen/Qwen2.5-1.5B-Instruct模型進行微調，使用了TinyV獎勵系統，能在高效強化學習（RL）後訓練中提供更準確的獎勵信號，顯著提升RL效率和最終模型性能。

🚀 快速開始

TinyV 是一個用於高效強化學習後訓練的獎勵系統，它能檢測當前基於規則的驗證器中的假陰性情況，並在強化學習訓練期間通過小型大語言模型（LLM）提供更準確的獎勵信號。實驗表明，TinyV 僅產生 6% 的額外計算成本，同時顯著提高了強化學習效率和最終模型性能。

• 📄 技術報告 - 包含假陰性分析和TinyV背後的理論見解
• 💪 GitHub倉庫 - 獲取通過TinyV進行更高效強化學習訓練的完整流程
• 🤖 Hugging Face集合 - 訓練數據、基準測試和模型工件

本模型是在 zhangchenxu/TinyV_Training_Data_Balanced 數據集上對 Qwen/Qwen2.5-1.5B-Instruct 進行微調後的版本。

📚 詳細文檔

概述

如何使用？

請參考代碼庫 https://github.com/uw-nsl/TinyV 瞭解詳細信息。

訓練超參數

訓練期間使用了以下超參數：

• 學習率（learning_rate）：1e-05
• 訓練批次大小（train_batch_size）：8
• 評估批次大小（eval_batch_size）：8
• 隨機種子（seed）：42
• 分佈式類型（distributed_type）：多GPU
• 設備數量（num_devices）：8
• 梯度累積步數（gradient_accumulation_steps）：8
• 總訓練批次大小（total_train_batch_size）：512
• 總評估批次大小（total_eval_batch_size）：64
• 優化器（optimizer）：使用 adamw_torch，其中 betas=(0.9, 0.999)，epsilon=1e-08，無額外優化器參數（optimizer_args）
• 學習率調度器類型（lr_scheduler_type）：餘弦
• 學習率調度器熱身比例（lr_scheduler_warmup_ratio）：0.1
• 訓練輪數（num_epochs）：2.0

框架版本

• Transformers：4.48.3
• Pytorch：2.5.0
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 許可證

本項目採用 Apache-2.0 許可證。