# 輕量化推理

該項目提供了Echelon-AI/Med-Qwen2-7B模型的GGUF量化文件，由Featherless AI提供支持，旨在增強模型性能並降低運行成本。

Magma-8B是一個基於GGUF格式的圖像文本到文本轉換模型，適用於多模態任務處理。

Qwen3是通義千問系列大語言模型的最新版本，提供了一系列密集型和混合專家（MoE）模型。基於大規模訓練，Qwen3在推理、指令遵循、智能體能力和多語言支持方面實現了突破性進展。

Qwen3是通義千問系列大語言模型的最新版本，提供了一系列密集型和混合專家（MoE）模型。基於大規模訓練，Qwen3在推理能力、指令遵循、智能體功能和多語言支持方面實現了突破性進展。

Kimi-VL-A3B-Thinking-6bit 是一個基於 MLX 格式轉換的多語言視覺語言模型，支持圖像文本到文本的任務。

基於Gemma 3架構微調的波斯語專用模型，使用QLoRA 4位量化技術，適合普通硬件運行。

專為AI虛擬主播（AI VTuber）對話優化的日語語言模型，基於Google的gemma-3-4b-it開發

該模型是通過ggml.ai的GGUF-my-repo空間，使用llama.cpp從BAAI/bge-reranker-v2-m3轉換而來的GGUF格式模型，主要用於文本分類任務。

這是castorini/rank_zephyr_7b_v1_full模型的GGUF量化版本，適用於文本排序任務。

該模型是從deepvk/USER-bge-m3轉換而來的GGUF格式模型，主要用於句子相似度和特徵提取任務。

該模型是基於Google的flan-t5-base模型轉換而來的GGUF格式版本，支持多種語言和任務，適用於文本生成和推理任務。

一個基於穩定擴散技術的3D動畫風格文本生成圖像模型，支持生成迪士尼、動漫風格的3D圖像。

該模型是從deepvk/USER-bge-m3轉換而來的GGUF格式模型，主要用於句子相似度計算和特徵提取。

荷蘭法醫研究所RobBERT-2022荷蘭語句嵌入模型的ONNX版本，專為高速和輕量化性能優化。

這是OpenAI Whisper large-v2模型的CTranslate2轉換版本，用於高效語音識別