# 高效推理優化

AM-Thinking-v1 是一個基於 GGUF 格式的文本生成模型，適用於多種自然語言處理任務。

Qwen3-235B-A22B 的 Exllamav3 量化版本，提供多種量化選項以優化模型大小和性能。

Llama-3.1-Nemotron-Nano-4B-v1.1 是一個基於Llama 3.1壓縮優化的大型語言模型，專注於推理和對話任務，支持128K上下文長度，適配單張RTX顯卡。

Falcon-H1是由TII開發的高效混合架構語言模型，結合了Transformers和Mamba架構的優勢，支持英語和多語言任務。

Falcon-H1是由阿聯酋技術創新研究院開發的混合架構語言模型，結合了Transformers和Mamba架構的優勢，支持多語言處理。

這是一個基於kyutai/helium-1-2b轉換的GGUF格式模型，支持多種歐洲語言。

Qwen3-0.6B-Base是通義千問系列的最新一代大語言模型，提供了一系列密集模型和混合專家（MoE）模型。

微軟開發的1.58位量化大語言模型，專為高效推理設計，提供IQ2_BN和IQ2_BN_R4兩種量化版本

本模型是THUDM/GLM-Z1-9B-0414的GGUF格式轉換版本，支持中英文文本生成任務。

OpenThinker2-7B的量化版本，使用llama.cpp進行量化，適用於文本生成任務。

NVIDIA Nemotron-H-8B-Base-8K 是由 NVIDIA 開發的大型語言模型（LLM），旨在為給定文本片段生成補全內容。該模型採用混合架構，主要由 Mamba-2 和 MLP 層組成，並結合了僅四個注意力層。模型支持 8K 的上下文長度，涵蓋英語、德語、西班牙語、法語、意大利語、韓語、葡萄牙語、俄語、日語和中文等多種語言。

基於Meta Llama-3.1-8B-Instruct優化的推理與對話模型，支持128K上下文長度，平衡效率與性能

這是Google Gemma 3B模型的GGUF量化版本，適用於本地推理，支持文本生成任務。

該模型是基於Google的Gemma 3 27B IT模型轉換而來的GGUF格式版本，適用於本地推理。

這是一個基於BAAI/bge-reranker-v2-m3模型轉換的GGUF格式文本排序模型，支持多語言文本嵌入推理。

FormatClassifier模型能根據網頁URL和文本內容，將網絡內容歸類至24個類別。

基於gte-base-en-v1.5微調的主題分類模型，可將網頁內容分類至24個類別

PLaMo 2 8B是由Preferred Elements公司開發的80億參數混合架構語言模型，支持英語和日語文本生成。

PLaMo 2 1B是由Preferred Elements公司開發的10億參數模型，基於英文和日文數據集進行預訓練，採用混合架構結合Mamba和滑動窗口注意力機制。

DeepSeek-R1-Distill-Llama-70B是DeepSeek團隊基於Llama架構開發的70B參數大語言模型，通過蒸餾技術優化，支持高效推理和微調。

基於ModernBERT-large在SQuAD 2.0數據集上微調的問答模型，支持長上下文處理

Deepthink-Reasoning-7B的Llamacpp imatrix量化版本，提供多種量化類型選擇以適應不同硬件需求

基於Menlo/Ichigo-llama3.1-s-instruct-v0.4的靜態量化模型，提供多種量化版本，適用於不同硬件需求。

DeepSeek-V2-Lite 是一款經濟高效的專家混合（MoE）語言模型，總參數量16B，激活參數量2.4B，支持32k上下文長度。

該模型基於 meta-llama/Meta-Llama-3-8B-Instruct 進行了微調，專門用於函數調用和 JSON 模式。

Gemma-2b-it 模型的 GGUF 量化版本，適用於本地推理，支持文本生成任務。

MiniCPM-MoE-8x2B是一款基於Transformer架構的混合專家（MoE）語言模型，採用8個專家模塊設計，每個token激活2個專家進行處理。

Jamba是最先進的混合SSM-Transformer大語言模型，結合了Mamba架構與Transformer優勢，支持256K上下文長度，在吞吐量和性能上超越同規模模型。

Yarn Mistral 7B 128K是一款針對長上下文優化的先進語言模型，通過YaRN擴展方法在長上下文數據上進一步預訓練，支持128k令牌的上下文窗口。

DeciLM 6B-指令模型是一款專為短格式指令跟隨設計的英語語言模型，基於DeciLM 6B通過LoRA微調技術訓練而成

基於OpenAI Whisper-medium微調的泰盧固語語音識別模型，在多個公開泰盧固語ASR數據集上訓練