FPHam-Sydney_Overthinker_13b_HF-GGUF開源模型 - 優化量化文件提升性能，小額付費運行所需模型

Fpham Sydney Overthinker 13b HF GGUF

由featherless-ai-quants開發

該項目提供了優化後的GGUF量化文件，可顯著提升模型性能。這些量化文件由Featherless AI提供支持，用戶只需支付少量費用，即可運行任意所需模型。

下載量 133

發布時間 : 6/4/2025

模型概述

Sydney_Overthinker_13b_HF模型的GGUF量化版本，適用於高效推理和部署。

多種量化選項

提供從IQ4_XS到Q8_0共11種不同級別的量化文件，滿足不同性能和資源需求。

高效推理

通過量化技術顯著降低模型運行時的資源消耗，提升推理速度。

便捷部署

無需複雜設置，即可在各種硬件上快速部署模型。

文本生成

對話系統

內容創作

內容創作

文章寫作

幫助用戶生成高質量的文章內容

提升創作效率

對話系統

構建智能聊天機器人

提供流暢自然的對話體驗

教育

學習輔助

幫助學生解答問題、提供學習建議

提升學習效率

量化類型	文件	大小
IQ4_XS	FPHam-Sydney_Overthinker_13b_HF-IQ4_XS.gguf	6694.33 MB
Q2_K	FPHam-Sydney_Overthinker_13b_HF-Q2_K.gguf	4629.39 MB
Q3_K_L	FPHam-Sydney_Overthinker_13b_HF-Q3_K_L.gguf	6608.54 MB
Q3_K_M	FPHam-Sydney_Overthinker_13b_HF-Q3_K_M.gguf	6044.17 MB
Q3_K_S	FPHam-Sydney_Overthinker_13b_HF-Q3_K_S.gguf	5396.82 MB
Q4_K_M	FPHam-Sydney_Overthinker_13b_HF-Q4_K_M.gguf	7501.56 MB
Q4_K_S	FPHam-Sydney_Overthinker_13b_HF-Q4_K_S.gguf	7079.30 MB
Q5_K_M	FPHam-Sydney_Overthinker_13b_HF-Q5_K_M.gguf	8802.34 MB
Q5_K_S	FPHam-Sydney_Overthinker_13b_HF-Q5_K_S.gguf	8556.64 MB
Q6_K	FPHam-Sydney_Overthinker_13b_HF-Q6_K.gguf	10184.42 MB
Q8_0	FPHam-Sydney_Overthinker_13b_HF-Q8_0.gguf	13190.57 MB