# 量化高效推理

NatureLM-8x7B-Inst的量化版本，旨在讓知識為每個人所用。

萬2.1文本到視頻模型的GGUF格式轉換版本，支持文本到視頻、圖像到視頻和視頻到視頻的轉換，經過量化處理以提高運行效率。

Medra4b是基於醫療數據集微調的多語言（英語和羅馬尼亞語）文本生成模型，專注於醫療領域應用。

Medra4b是一個基於醫療領域的量化語言模型，支持英文和羅馬尼亞文，專注於文本生成和摘要任務。

MedGemma-4B-it-Q8_0-GGUF 是基於 google/medgemma-4b-it 轉換而來的 GGUF 格式模型，專為醫療領域的圖像文本到文本任務設計。

Muse-12B是一個12B參數的文本生成模型，由LatitudeGames開發，旨在提供高質量的文本生成能力。

基於T5架構的靜態量化模型，專注於學術論文摘要生成任務

Clinician-Note-2.0a是一個專注於醫學領域的文本生成模型，特別適用於AI輔助臨床記錄和摘要生成。

Medra是基於醫療領域數據集微調的量化語言模型，專注於醫療問答和摘要生成任務。

該模型是基於IBM Granite-3.3-8B指令微調模型轉換而來的GGUF格式模型，適用於文本生成任務。

DeepThinkerv2是一個具備深度數學推理能力的大語言模型，通過遞歸思考模式和多重驗證機制提升解題準確性。

這是一個基於canopylabs/3b-fr-ft-research_release模型轉換的GGUF格式法語語言模型，適用於文本生成任務。

Gemma 3是Google推出的輕量級前沿開放模型系列，基於與Gemini相同技術構建，支持多模態輸入（文本/圖像）和文本輸出。27B版本通過量化感知訓練顯著降低內存需求。

Gemma 3是Google基於Gemini技術構建的輕量級開放模型系列，支持多模態輸入和文本輸出。

這是由google/gemma-3-12b-it轉換而來的GGUF格式模型，適用於llama.cpp框架。

這是一個基於Qwen2.5-14B-Instruct模型進行量化處理的版本，專門用於引文意圖分類任務。

OpenCerebrum-1.0-7b-SFT是一個基於Locutusque/OpenCerebrum-1.0-7b-SFT的靜態量化模型，支持多種量化版本，適用於代碼生成、數學、化學、生物學等領域的文本生成和問答任務。

這是一個基於Qwen2架構的多模態模型，支持文本生成、圖像轉文本和視覺問答任務，提供多種量化版本以適應不同需求。

Qwen2-VL-72B-Instruct-GGUF 是原模型經過量化處理後的版本，支持多模態任務，可通過 GaiaNet 運行。

Qwen2-VL-7B-Instruct 是一個7B參數規模的多模態模型，支持圖像與文本的交互任務。

Qwen2-VL-7B-Instruct 是一個多模態視覺語言模型，支持圖像和文本的聯合理解與生成任務。

Llama 3 8B 指令模型的 GGUF 量化版本，適用於本地推理，支持高效部署

該模型是基於Open-Orca/Mistral-7B-OpenOrca轉換而來的GGUF格式模型，適用於文本生成任務。

Finance LLM 是一個專注於金融領域的語言模型，基於 Llama 架構，經過 OpenOrca、Lima 和 WizardLM 等數據集的微調。

TinyLlama-1.1B-Chat-v0.6 是一個輕量級的聊天模型，基於1.1B參數的Llama架構，專為對話任務優化。