Fin R1 GGUF

🚀 Fin-R1 GGUF 模型

Fin-R1 GGUF 模型是一系列专为金融推理领域设计的大语言模型，以轻量化的 7B 参数量级架构，显著降低了部署成本。通过在高质量金融推理数据上进行两阶段训练，该模型在多个金融领域基准测试中表现出色，为金融核心业务场景提供了有力支持。

🚀 快速开始

模型格式选择

选择正确的模型格式取决于您的硬件能力和内存限制。以下是不同模型格式的特点和适用场景：

• BF16（Brain Float 16）：适用于支持 BF16 加速的硬件，具有更快的计算速度和较低的内存使用。
• F16（Float 16）：比 BF16 更广泛支持，适用于大多数支持 FP16 加速的设备。
• 量化模型（Q4_K, Q6_K, Q8 等）：适用于 CPU 和低 VRAM 推理，可在保持一定精度的同时减少模型大小和内存使用。
• 极低比特量化（IQ3_XS, IQ3_S, IQ3_M, Q4_K, Q4_0）：优化了极端内存效率，适用于低功耗设备或大规模部署。

模型文件说明

• Fin-R1-bf16.gguf：模型权重保存为 BF16 格式，适用于支持 BF16 加速的设备。
• Fin-R1-f16.gguf：模型权重保存为 F16 格式，适用于支持 FP16 的设备。
• Fin-R1-bf16-q8_0.gguf：输出和嵌入保持为 BF16，其他层量化为 Q8_0。
• Fin-R1-f16-q8_0.gguf：输出和嵌入保持为 F16，其他层量化为 Q8_0。
• Fin-R1-q4_k.gguf：输出和嵌入量化为 Q8_0，其他层量化为 Q4_K，适用于内存有限的 CPU 推理。
• Fin-R1-q4_k_s.gguf：最小的 Q4_K 变体，内存使用更少，但精度较低。
• Fin-R1-q6_k.gguf：输出和嵌入量化为 Q8_0，其他层量化为 Q6_K。
• Fin-R1-q8_0.gguf：全 Q8 量化模型，精度更高，但需要更多内存。
• Fin-R1-iq3_xs.gguf：IQ3_XS 量化，优化了极端内存效率，适用于超低内存设备。
• Fin-R1-iq3_m.gguf：IQ3_M 量化，提供中等块大小，精度更好，适用于低内存设备。
• Fin-R1-q4_0.gguf：纯 Q4_0 量化，优化了 ARM 设备，适用于低内存环境。

测试模型

如果您觉得这些模型有用，请点赞❤。同时，非常感谢您测试我的网络监控助手👉 Network Monitor Assitant。点击聊天图标（主页和仪表盘页面右下角），选择一个大语言模型，在 TurboLLM -> FreeLLM -> TestLLM 之间切换。

✨ 主要特性

• 轻量化架构：采用 7B 参数量级架构，显著降低部署成本。
• 高质量训练：通过在高质量金融推理数据上进行监督微调（SFT）和强化学习（RL）两阶段训练，提升了金融推理任务的准确性和泛化能力。
• 多场景支持：涵盖金融代码、金融计算、金融安全合规、智能风控、ESG 分析等多个金融核心业务场景。
• 性能优异：在多个金融领域基准测试中表现出色，达到参评模型的 SOTA 水平。

📦 安装指南

文档未提供具体安装步骤，暂无法给出相关内容。

💻 使用示例

文档未提供代码示例，暂无法给出相关内容。

📚 详细文档

场景应用

Fin-R1 是一款专为金融推理领域设计的大语言模型，可应用于以下场景：

• 金融代码：用于实现各种金融模型、算法和分析任务的计算机编程代码。
• 金融计算：对金融领域的各种问题进行定量分析和计算。
• 英语金融计算：在跨语言环境下使用英语进行金融模型的构建和计算。
• 金融安全合规：防范金融犯罪与遵守监管要求。
• 智能风控：利用 AI 与大数据技术识别和管理金融风险。
• ESG 分析：评估企业在环境（Environmental）、社会（Social）、治理（Governance）的表现，衡量其可持续发展能力。

总体工作流程

基于 DeepSeek-R1 构建数据蒸馏框架，采用两阶段数据筛选方法提升金融领域数据质量，生成 SFT 数据集和 RL 数据集。利用 Qwen2.5-7B-Instruct，通过监督微调（SFT）和强化学习（RL）训练金融推理大模型 Fin-R1。

数据构建

为将 DeepSeek-R1 的推理能力迁移至金融场景，构建了约 60k 条面向专业金融推理场景的高质量 COT 数据集 Fin-R1-Data。该数据集涵盖中英文金融垂直领域的多维度专业知识，可有效支撑多个金融核心场景。

微调训练

针对金融领域复杂推理任务，利用 Qwen2.5-7B-Instruct 进行两阶段微调训练得到金融推理大语言模型 Fin-R1。第一阶段进行监督微调，帮助模型初步提升金融推理能力；第二阶段进行强化学习，进一步提升金融推理任务的准确性和泛化能力。

模型评测结果

在覆盖多项金融业务场景的基准测试上对模型进行评估，经过指令微调 (SFT) 加强化学习 (RL) 训练的 Fin-R1 以仅 7B 的轻量化参数规模展现出显著的性能优势，在多个关键任务测试上登顶第一。

声明及未来展望

本项目由上海财经大学统计与数据科学学院金融大语言模型课题组（SUFE-AIFLM-Lab）联合财跃星辰完成。Fin-R1 虽能出色完成诸多金融任务，但现阶段仍存在技术瓶颈与应用限制。其提供的建议和分析结果仅供参考，不可等同于专业金融分析师或专家的精准判断。未来，将持续优化 Fin-R1，探索其在前沿金融场景的应用潜力。

联系我们

诚邀业界同仁共同探索 AI 与金融深度融合的创新范式，共建智慧金融新生态。请通过邮件与 zhang.liwen@shufe.edu.cn 联系。

🔧 技术细节

数据构建

为将 DeepSeek-R1 的推理能力迁移至金融场景并解决高质量金融推理数据问题，构建了约 60k 条面向专业金融推理场景的高质量 COT 数据集 Fin-R1-Data。该数据集涵盖中英文金融垂直领域的多维度专业知识，并根据具体任务内容将其分为金融代码、金融专业知识、金融非推理类业务知识和金融推理类业务知识四大模块。

微调训练

针对金融领域复杂推理任务，利用 Qwen2.5-7B-Instruct 进行两阶段微调训练得到金融推理大语言模型 Fin-R1。第一阶段进行监督微调（SFT），帮助模型初步提升金融推理能力；第二阶段进行强化学习（RL），采用 GRPO（Group Relative Policy Optimization）算法作为核心框架，以双重奖励机制优化模型输出的格式和准确度，并引入基于模型的验证器（Model-Based Verifier），生成更加精确可靠的奖励信号，从而提升强化学习的效果和稳定性。

📄 许可证

本项目采用 Apache-2.0 许可证。