# 高性能推理

ICONN-1的量化版本，提供多種量化選項以適應不同性能和質量需求

這是NVIDIA AceReason - Nemotron - 1.1 - 7B模型的量化版本，通過優化模型在不同硬件上的運行效率，同時保持一定的性能和質量。

這是一個使用llama.cpp進行量化的Jedi - 7B - 1080p模型，提供了多種量化類型供用戶選擇，以平衡文件大小和模型質量。

Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf是基於LLaMa-70B的量化版本，採用llama.cpp進行優化，提供多種量化選項以適應不同硬件需求。

DeepSeek-R1-0528 是一個大型語言模型，經過量化處理以優化在不同硬件上的運行效率。

AceReason-Nemotron-7B 是一個基於 Nemotron 架構的 7B 參數規模的大型語言模型，提供多種量化版本以適應不同硬件需求。

Seed-Coder-8B-Instruct 是一款強大的開源代碼模型，具有以模型為中心、透明和高性能等特點，在多種編碼任務中表現出色。

PARD是一種高性能的推測解碼方法，能夠以低成本將自迴歸草稿模型轉換為並行草稿模型，顯著加速大語言模型推理。

這是一個基於Qwen/Qwen3-235B-A22B模型轉換而來的混合3-6位量化版本，適用於蘋果MLX框架的高效推理。

這是NVIDIA OpenCodeReasoning-Nemotron-14B模型的Llamacpp imatrix量化版本，適用於代碼推理任務。

該模型源自karpathy的llm.c項目，為研究bfloat16性能而轉換為HuggingFace格式，訓練過程消耗了1500億token。

這是一個基於 Llama-70B 的蒸餾模型，經過 mlx-lm 轉換為 MLX 格式，並進行了 4 位量化處理。

基於Qwen2.5架構的14B參數規模代碼生成與理解模型，通過Model Stock方法融合多個專業編碼模型而成

這是一個基於Qwen2.5-14B架構的多模型融合結果，採用Model Stock融合方法，結合了22個不同來源的14B參數規模模型。

基於Qwen2.5 Bakeneko 32B的指令調優變體，通過Chat Vector和ORPO優化增強指令跟隨能力，在日語MT-Bench上表現出色。

Instella是由AMD開發的30億參數開源語言模型系列，基於AMD Instinct™ MI300X GPU訓練，性能超越同規模全開源模型。

基於Meta Llama 3構建的日語優化大語言模型，通過持續預訓練增強日語能力，採用監督微調提升指令跟隨能力

C4AI Command - R是一款擁有350億參數的高性能生成模型的研究版本，針對推理、總結和問答等多種用例進行了優化。

Llama 3 70B Instruct的GGUF格式版本，提供更高效的本地運行體驗

ECE-TW3-JRGL-V5 是一個通過 mergekit 合併 MoMo-72B-lora-1.8.7-DPO 和 alpaca-dragon-72b-v1 模型得到的新模型，融合了多個模型的優勢。

YOLOv8 是 Ultralytics 開發的最新一代目標檢測模型，基於先前 YOLO 版本的成功構建，引入了新功能和改進，進一步提升性能和靈活性。

MistralAI最新發布的混合專家（MoE）模型，支持多語言文本生成任務

易（Yi）系列模型是由01.AI從頭開始訓練的下一代開源大語言模型，支持雙語（中英文），在語言理解、常識推理、閱讀理解等方面表現出色。

Yi-34B-Chat是由01.AI開發的雙語大語言模型，在AlpacaEval排行榜上僅次於GPT-4 Turbo，表現優異。