Fin R1 GGUF

🚀 Fin-R1 GGUF 模型

Fin-R1 GGUF 模型是一系列專為金融推理領域設計的大語言模型，以輕量化的 7B 參數量級架構，顯著降低了部署成本。通過在高質量金融推理數據上進行兩階段訓練，該模型在多個金融領域基準測試中表現出色，為金融核心業務場景提供了有力支持。

🚀 快速開始

模型格式選擇

選擇正確的模型格式取決於您的硬件能力和內存限制。以下是不同模型格式的特點和適用場景：

• BF16（Brain Float 16）：適用於支持 BF16 加速的硬件，具有更快的計算速度和較低的內存使用。
• F16（Float 16）：比 BF16 更廣泛支持，適用於大多數支持 FP16 加速的設備。
• 量化模型（Q4_K, Q6_K, Q8 等）：適用於 CPU 和低 VRAM 推理，可在保持一定精度的同時減少模型大小和內存使用。
• 極低比特量化（IQ3_XS, IQ3_S, IQ3_M, Q4_K, Q4_0）：優化了極端內存效率，適用於低功耗設備或大規模部署。

模型文件說明

• Fin-R1-bf16.gguf：模型權重保存為 BF16 格式，適用於支持 BF16 加速的設備。
• Fin-R1-f16.gguf：模型權重保存為 F16 格式，適用於支持 FP16 的設備。
• Fin-R1-bf16-q8_0.gguf：輸出和嵌入保持為 BF16，其他層量化為 Q8_0。
• Fin-R1-f16-q8_0.gguf：輸出和嵌入保持為 F16，其他層量化為 Q8_0。
• Fin-R1-q4_k.gguf：輸出和嵌入量化為 Q8_0，其他層量化為 Q4_K，適用於內存有限的 CPU 推理。
• Fin-R1-q4_k_s.gguf：最小的 Q4_K 變體，內存使用更少，但精度較低。
• Fin-R1-q6_k.gguf：輸出和嵌入量化為 Q8_0，其他層量化為 Q6_K。
• Fin-R1-q8_0.gguf：全 Q8 量化模型，精度更高，但需要更多內存。
• Fin-R1-iq3_xs.gguf：IQ3_XS 量化，優化了極端內存效率，適用於超低內存設備。
• Fin-R1-iq3_m.gguf：IQ3_M 量化，提供中等塊大小，精度更好，適用於低內存設備。
• Fin-R1-q4_0.gguf：純 Q4_0 量化，優化了 ARM 設備，適用於低內存環境。

測試模型

如果您覺得這些模型有用，請點贊❤。同時，非常感謝您測試我的網絡監控助手👉 Network Monitor Assitant。點擊聊天圖標（主頁和儀表盤頁面右下角），選擇一個大語言模型，在 TurboLLM -> FreeLLM -> TestLLM 之間切換。

✨ 主要特性

• 輕量化架構：採用 7B 參數量級架構，顯著降低部署成本。
• 高質量訓練：通過在高質量金融推理數據上進行監督微調（SFT）和強化學習（RL）兩階段訓練，提升了金融推理任務的準確性和泛化能力。
• 多場景支持：涵蓋金融代碼、金融計算、金融安全合規、智能風控、ESG 分析等多個金融核心業務場景。
• 性能優異：在多個金融領域基準測試中表現出色，達到參評模型的 SOTA 水平。

📦 安裝指南

文檔未提供具體安裝步驟，暫無法給出相關內容。

💻 使用示例

文檔未提供代碼示例，暫無法給出相關內容。

📚 詳細文檔

場景應用

Fin-R1 是一款專為金融推理領域設計的大語言模型，可應用於以下場景：

• 金融代碼：用於實現各種金融模型、算法和分析任務的計算機編程代碼。
• 金融計算：對金融領域的各種問題進行定量分析和計算。
• 英語金融計算：在跨語言環境下使用英語進行金融模型的構建和計算。
• 金融安全合規：防範金融犯罪與遵守監管要求。
• 智能風控：利用 AI 與大數據技術識別和管理金融風險。
• ESG 分析：評估企業在環境（Environmental）、社會（Social）、治理（Governance）的表現，衡量其可持續發展能力。

總體工作流程

基於 DeepSeek-R1 構建數據蒸餾框架，採用兩階段數據篩選方法提升金融領域數據質量，生成 SFT 數據集和 RL 數據集。利用 Qwen2.5-7B-Instruct，通過監督微調（SFT）和強化學習（RL）訓練金融推理大模型 Fin-R1。

數據構建

為將 DeepSeek-R1 的推理能力遷移至金融場景，構建了約 60k 條面向專業金融推理場景的高質量 COT 數據集 Fin-R1-Data。該數據集涵蓋中英文金融垂直領域的多維度專業知識，可有效支撐多個金融核心場景。

微調訓練

針對金融領域複雜推理任務，利用 Qwen2.5-7B-Instruct 進行兩階段微調訓練得到金融推理大語言模型 Fin-R1。第一階段進行監督微調，幫助模型初步提升金融推理能力；第二階段進行強化學習，進一步提升金融推理任務的準確性和泛化能力。

模型評測結果

在覆蓋多項金融業務場景的基準測試上對模型進行評估，經過指令微調 (SFT) 加強化學習 (RL) 訓練的 Fin-R1 以僅 7B 的輕量化參數規模展現出顯著的性能優勢，在多個關鍵任務測試上登頂第一。

聲明及未來展望

本項目由上海財經大學統計與數據科學學院金融大語言模型課題組（SUFE-AIFLM-Lab）聯合財躍星辰完成。Fin-R1 雖能出色完成諸多金融任務，但現階段仍存在技術瓶頸與應用限制。其提供的建議和分析結果僅供參考，不可等同於專業金融分析師或專家的精準判斷。未來，將持續優化 Fin-R1，探索其在前沿金融場景的應用潛力。

聯繫我們

誠邀業界同仁共同探索 AI 與金融深度融合的創新範式，共建智慧金融新生態。請通過郵件與 zhang.liwen@shufe.edu.cn 聯繫。

🔧 技術細節

數據構建

為將 DeepSeek-R1 的推理能力遷移至金融場景並解決高質量金融推理數據問題，構建了約 60k 條面向專業金融推理場景的高質量 COT 數據集 Fin-R1-Data。該數據集涵蓋中英文金融垂直領域的多維度專業知識，並根據具體任務內容將其分為金融代碼、金融專業知識、金融非推理類業務知識和金融推理類業務知識四大模塊。

微調訓練

針對金融領域複雜推理任務，利用 Qwen2.5-7B-Instruct 進行兩階段微調訓練得到金融推理大語言模型 Fin-R1。第一階段進行監督微調（SFT），幫助模型初步提升金融推理能力；第二階段進行強化學習（RL），採用 GRPO（Group Relative Policy Optimization）算法作為核心框架，以雙重獎勵機制優化模型輸出的格式和準確度，並引入基於模型的驗證器（Model-Based Verifier），生成更加精確可靠的獎勵信號，從而提升強化學習的效果和穩定性。

📄 許可證

本項目採用 Apache-2.0 許可證。