Lightblue Reranker 0.5 Cont Filt 7max Gguf

🚀 文本排序模型 reranker_continuous_filt_max7_train

本项目是基于Qwen/Qwen2.5-0.5B-Instruct模型在reranker_continuous_filt_max7_train数据集上微调得到的文本排序模型，可用于文本排序相关任务，在评估集上损失为 0.3869。

🚀 快速开始

本 README 未提供具体的快速开始步骤，你可以参考原模型 Qwen/Qwen2.5-0.5B-Instruct 的使用说明进行操作。

✨ 主要特性

• 基于Qwen/Qwen2.5-0.5B-Instruct模型微调，适用于文本排序任务。
• 提供多种量化版本，可根据需求选择不同的量化方法和模型大小。

📦 安装指南

文档未提供安装步骤，可参考原模型的安装说明。

📚 详细文档

模型信息

• 量化作者：Richard Erkhov
• GitHub：https://github.com/RichardErkhov
• Discord：https://discord.gg/pvy7H8DZMG
• 请求更多模型：https://github.com/RichardErkhov/quant_request

模型量化版本

原始模型信息

训练过程

训练超参数

• 学习率：1e-05
• 训练批次大小：1
• 评估批次大小：1
• 随机种子：42
• 分布式类型：多 GPU
• 设备数量：8
• 总训练批次大小：8
• 总评估批次大小：8
• 优化器：使用adamw_torch，betas=(0.9, 0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度器类型：cosine
• 学习率调度器预热比例：0.01
• 训练轮数：1.0

训练结果

框架版本

• Transformers：4.46.1
• Pytorch：2.4.0+cu121
• Datasets：3.1.0
• Tokenizers：0.20.3

🔧 技术细节

文档未提供详细的技术实现细节。

📄 许可证

原模型许可证为other，具体许可信息需进一步查看相关说明。