# GGUF高效推理

Qwen2.5-VL-7B-Meteorology的量化版本，適用於氣象、氣候等領域的圖像文本處理任務，能在不同硬件條件下高效運行。

該模型是百度ERNIE-4.5-0.3B-PT的GGUF格式轉換版本，支持中英文文本生成任務。

Wan2.1-VACE-14B模型的GGUF格式版本，主要用於文本到視頻的生成任務。

該模型是基於google/gemma-2-9b-it針對函數調用任務進行微調的版本，訓練數據完全由人工標註，使用了俄語版本的DiTy/function-calling數據集。

這是一個基於canopylabs/3b-de-ft-research_release模型轉換而來的GGUF格式模型，專門優化用於德語文本處理。

這是一個基於canopylabs/3b-zh-ft-research_release轉換至GGUF格式的中文語言模型，適用於文本生成任務。

這是一個基於canopylabs/3b-de-ft-research_release模型轉換的GGUF格式德語語言模型，適用於文本生成任務。

這是一個基於slim-orpheus-3b-JAPANESE-ft模型轉換的GGUF格式模型，專門針對日語文本處理進行了優化。

這是一個基於canopylabs/3b-es_it-ft-research_release轉換的GGUF格式模型，支持西班牙語和意大利語。

該模型是基於NVIDIA的Llama-3_3-Nemotron-Super-49B-v1轉換而來的GGUF格式版本，適用於文本生成任務。

Qwen2.5-VL-72B-Instruct是一個72B參數規模的多模態大模型，支持視覺-語言任務，能夠理解和生成與圖像相關的文本內容。

Qwen2.5-VL-32B-Instruct 是一個32B參數規模的多模態視覺語言模型，支持圖像和文本的聯合理解與生成任務。

本模型是基於BAAI/bge-reranker-v2-m3轉換的GGUF格式模型，用於文本排序任務，支持多語言。

NVIDIA發佈的8B參數規模的開源大語言模型，基於Llama-3架構，提供多種量化版本

這是Google Gemma 3B模型的GGUF量化版本，適用於本地部署和推理。

該模型是通過ggml.ai的GGUF-my-repo空間，使用llama.cpp從google-t5/t5-small轉換至GGUF格式的量化版本。

這是一個基於Mistral-7B的商業領域適配模型，轉換為GGUF格式以便在llama.cpp中使用。

該模型是基於openGPT-X/Teuken-7B-instruct-research-v0.4轉換的GGUF格式版本，支持多語言文本生成任務。

NoticIA-7B是一個基於西班牙語的新聞摘要生成模型，專注於處理新聞內容並生成摘要。

這是一個基於Mistral-7B-Instruct-v0.2模型微調的心理健康諮詢對話模型，提供了多種量化版本以適應不同需求。

該模型是基於BAAI/bge-reranker-large轉換而來的GGUF格式模型，用於重排序任務，支持中英文。

該模型是通過ggml.ai的GGUF-my-repo空間，使用llama.cpp從google-t5/t5-small轉換為GGUF格式的量化版本。

該模型是基於DISLab/SummLlama3-8B轉換的GGUF格式模型，適用於文本摘要任務。

該模型是從BAAI/bge-reranker-v2-m3轉換而來的GGUF格式模型，用於文本重排序任務，支持多語言。

這是一個基於CoForAI/c4ai-command-r-08-2024模型轉換的GGUF格式文本生成模型，支持多種語言。

這是一個基於MBZUAI/LaMini-Flan-T5-248M模型轉換的GGUF格式模型，適用於文本生成任務。

該模型是基於xtuner/llava-llama-3-8b-v1_1轉換的GGUF格式模型，支持圖像和文本的多模態處理。

Meta-Llama-3-8B-Instruct的GGUF量化版本，適用於本地部署和推理

WizardLM-2-8x22B-GGUF是微軟WizardLM-2-8x22B模型的GGUF格式量化版本，支持多種比特量化，適用於文本生成任務。

基於LLaMa2-13b的臺灣大語言模型，支持繁體中文，採用GGUF格式

TinyLLama-v0 是一個輕量級語言模型，基於 GGUF 格式提供，適用於文本生成任務。

這是Pygmalion-2-13b與SuperCOT的加權融合實驗模型，支持指令格式交互，適用於文本生成任務。

CodeLlama 7B Python是Meta開發的專注於Python代碼生成的7B參數大語言模型，提供GGUF格式量化版本