# 推理優化

Nvidia AceReason Nemotron 7B GGUF
其他
AceReason-Nemotron-7B 是一個基於 Nemotron 架構的 7B 參數規模的大型語言模型,提供多種量化版本以適應不同硬件需求。
大型語言模型
N
bartowski
209
2
Nvidia AceReason Nemotron 14B GGUF
其他
AceReason-Nemotron-14B 是一個14B參數規模的大型語言模型,提供多種量化版本以適應不同硬件需求。
大型語言模型
N
bartowski
1,772
6
Llama 3.1 Nemotron Nano 4B V1.1 GGUF
其他
Llama-3.1-Nemotron-Nano-4B-v1.1是一款基於Llama 3.1優化的大語言模型,在準確性和效率間取得良好平衡,適用於AI代理、聊天機器人等多種場景。
大型語言模型 Transformers 英語
L
Mungert
2,177
1
Llama 3.1 Nemotron Nano 4B V1.1
其他
Llama-3.1-Nemotron-Nano-4B-v1.1 是一個基於Llama 3.1 8B壓縮而來的大型語言模型,優化了推理能力和任務執行效率,適用於單塊RTX顯卡本地運行。
大型語言模型 Transformers 英語
L
unsloth
219
4
Mimo 7B RL Zero
MIT
MiMo-7B 是小米推出的專為推理任務設計的語言模型系列,包括基礎模型、SFT模型和RL模型,在數學和代碼推理任務上表現優異。
大型語言模型 Transformers
M
XiaomiMiMo
216
14
Mimo 7B RL
MIT
MiMo-7B-RL是基於MiMo-7B-SFT模型訓練的強化學習模型,在數學與代碼推理任務上表現出色,性能媲美OpenAI o1-mini。
大型語言模型 Transformers
M
XiaomiMiMo
11.79k
252
Mimo 7B Base
MIT
小米推出的7B參數規模推理專用語言模型系列,通過優化預訓練和後訓練策略顯著提升數學與代碼推理能力
大型語言模型 Transformers
M
XiaomiMiMo
12.75k
101
Thinkedit Deepseek Qwen 14b
其他
ThinkEdit是一種輕量級權重編輯方法,通過識別並編輯少量注意力頭,緩解大語言模型在推理任務中生成過度簡短思維鏈的問題,提升推理準確性。
大型語言模型 Transformers
T
cesun
46
2
Qwq 32B FP8 Dynamic
MIT
QwQ-32B的FP8量化版本,通過動態量化技術減少50%存儲和內存需求,同時保持99.75%的原模型精度
大型語言模型 Transformers
Q
nm-testing
3,895
3
Cognitivecomputations Dolphin3.0 R1 Mistral 24B GGUF
Dolphin3.0-R1-Mistral-24B 是一個基於 Mistral 架構的 24B 參數大語言模型,由 Eric Hartford 訓練,專注於推理和第一性原理分析。
大型語言模型 英語
C
bartowski
10.24k
72
Llama3 Aloe 8B Alpha
Aloe是新一代醫療大語言模型家族,通過模型融合和先進的提示策略,在其規模範圍內與所有先前開源模型相比具有高度競爭力,並達到了最先進的成果。
大型語言模型 Transformers 英語
L
HPAI-BSC
6,663
61
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase