# 低精度推理

Devstral-Small-2505-bf16 是一个基于 MistralAI 的 Devstral-Small-2505 模型转换而来的 MLX 格式模型，支持多种语言处理任务。

MedGemma-4B-IT-8bit是Google MedGemma模型的MLX格式转换版本，专注于医疗领域的视觉语言任务。

这是一个基于Qwen2.5-VL-3B-Instruct模型的8位量化版本，专为MLX框架优化，支持图像文本生成任务。

基于Stable Diffusion XL的ControlNet模型，专注于OpenPose姿态控制，用于生成符合特定人体姿态的图像。

这是BAAI/bge-reranker-v2-gemma模型的GGUF格式转换版本，适用于llama.cpp框架，支持多语言文本分类任务。

BLIP-2是一个视觉语言预训练模型，结合了图像编码器和大型语言模型，用于图像到文本的生成任务。

这是一个使用Intel® Neural Compressor进行训练后静态量化的INT8 PyTorch模型，基于Google的ViT模型微调而来，在保持较高准确率的同时大幅减小模型体积。