# 轻量化推理

该项目提供了Echelon-AI/Med-Qwen2-7B模型的GGUF量化文件，由Featherless AI提供支持，旨在增强模型性能并降低运行成本。

Magma-8B是一个基于GGUF格式的图像文本到文本转换模型，适用于多模态任务处理。

Qwen3是通义千问系列大语言模型的最新版本，提供了一系列密集型和混合专家（MoE）模型。基于大规模训练，Qwen3在推理、指令遵循、智能体能力和多语言支持方面实现了突破性进展。

Qwen3是通义千问系列大语言模型的最新版本，提供了一系列密集型和混合专家（MoE）模型。基于大规模训练，Qwen3在推理能力、指令遵循、智能体功能和多语言支持方面实现了突破性进展。

Kimi-VL-A3B-Thinking-6bit 是一个基于 MLX 格式转换的多语言视觉语言模型，支持图像文本到文本的任务。

基于Gemma 3架构微调的波斯语专用模型，使用QLoRA 4位量化技术，适合普通硬件运行。

专为AI虚拟主播（AI VTuber）对话优化的日语语言模型，基于Google的gemma-3-4b-it开发

该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从BAAI/bge-reranker-v2-m3转换而来的GGUF格式模型，主要用于文本分类任务。

这是castorini/rank_zephyr_7b_v1_full模型的GGUF量化版本，适用于文本排序任务。

该模型是从deepvk/USER-bge-m3转换而来的GGUF格式模型，主要用于句子相似度和特征提取任务。

该模型是基于Google的flan-t5-base模型转换而来的GGUF格式版本，支持多种语言和任务，适用于文本生成和推理任务。

一个基于稳定扩散技术的3D动画风格文本生成图像模型，支持生成迪士尼、动漫风格的3D图像。

该模型是从deepvk/USER-bge-m3转换而来的GGUF格式模型，主要用于句子相似度计算和特征提取。

荷兰法医研究所RobBERT-2022荷兰语句嵌入模型的ONNX版本，专为高速和轻量化性能优化。

这是OpenAI Whisper large-v2模型的CTranslate2转换版本，用于高效语音识别