# 推理優化

AceReason-Nemotron-7B 是一個基於 Nemotron 架構的 7B 參數規模的大型語言模型，提供多種量化版本以適應不同硬件需求。

AceReason-Nemotron-14B 是一個14B參數規模的大型語言模型，提供多種量化版本以適應不同硬件需求。

Llama-3.1-Nemotron-Nano-4B-v1.1是一款基於Llama 3.1優化的大語言模型，在準確性和效率間取得良好平衡，適用於AI代理、聊天機器人等多種場景。

Llama-3.1-Nemotron-Nano-4B-v1.1 是一個基於Llama 3.1 8B壓縮而來的大型語言模型，優化了推理能力和任務執行效率，適用於單塊RTX顯卡本地運行。

MiMo-7B 是小米推出的專為推理任務設計的語言模型系列，包括基礎模型、SFT模型和RL模型，在數學和代碼推理任務上表現優異。

MiMo-7B-RL是基於MiMo-7B-SFT模型訓練的強化學習模型，在數學與代碼推理任務上表現出色，性能媲美OpenAI o1-mini。

小米推出的7B參數規模推理專用語言模型系列，通過優化預訓練和後訓練策略顯著提升數學與代碼推理能力

ThinkEdit是一種輕量級權重編輯方法，通過識別並編輯少量注意力頭，緩解大語言模型在推理任務中生成過度簡短思維鏈的問題，提升推理準確性。

QwQ-32B的FP8量化版本，通過動態量化技術減少50%存儲和內存需求，同時保持99.75%的原模型精度

Dolphin3.0-R1-Mistral-24B 是一個基於 Mistral 架構的 24B 參數大語言模型，由 Eric Hartford 訓練，專注於推理和第一性原理分析。

Aloe是新一代醫療大語言模型家族，通過模型融合和先進的提示策略，在其規模範圍內與所有先前開源模型相比具有高度競爭力，並達到了最先進的成果。