Tinyv 1.5B

🚀 微调版Qwen2.5-1.5B-Instruct模型

本项目基于Qwen/Qwen2.5-1.5B-Instruct模型进行微调，使用了TinyV奖励系统，能在高效强化学习（RL）后训练中提供更准确的奖励信号，显著提升RL效率和最终模型性能。

🚀 快速开始

TinyV 是一个用于高效强化学习后训练的奖励系统，它能检测当前基于规则的验证器中的假阴性情况，并在强化学习训练期间通过小型大语言模型（LLM）提供更准确的奖励信号。实验表明，TinyV 仅产生 6% 的额外计算成本，同时显著提高了强化学习效率和最终模型性能。

• 📄 技术报告 - 包含假阴性分析和TinyV背后的理论见解
• 💪 GitHub仓库 - 获取通过TinyV进行更高效强化学习训练的完整流程
• 🤖 Hugging Face集合 - 训练数据、基准测试和模型工件

本模型是在 zhangchenxu/TinyV_Training_Data_Balanced 数据集上对 Qwen/Qwen2.5-1.5B-Instruct 进行微调后的版本。

📚 详细文档

概述

如何使用？

请参考代码库 https://github.com/uw-nsl/TinyV 了解详细信息。

训练超参数

训练期间使用了以下超参数：

• 学习率（learning_rate）：1e-05
• 训练批次大小（train_batch_size）：8
• 评估批次大小（eval_batch_size）：8
• 随机种子（seed）：42
• 分布式类型（distributed_type）：多GPU
• 设备数量（num_devices）：8
• 梯度累积步数（gradient_accumulation_steps）：8
• 总训练批次大小（total_train_batch_size）：512
• 总评估批次大小（total_eval_batch_size）：64
• 优化器（optimizer）：使用 adamw_torch，其中 betas=(0.9, 0.999)，epsilon=1e-08，无额外优化器参数（optimizer_args）
• 学习率调度器类型（lr_scheduler_type）：余弦
• 学习率调度器热身比例（lr_scheduler_warmup_ratio）：0.1
• 训练轮数（num_epochs）：2.0

框架版本

• Transformers：4.48.3
• Pytorch：2.5.0
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 许可证

本项目采用 Apache-2.0 许可证。