# 边缘设备部署

MiniCPM4 是一款专为端侧设备设计的高效大语言模型，在相同规模下保持最优性能的同时实现了极致的效率提升，在典型端侧芯片上可实现超 5 倍的生成加速。

PP-OCRv3_mobile_rec 是 PaddleOCR 团队开发的轻量级文本行识别模型，采用 SVTR 算法，支持中英文识别，尤其专注于中文场景。

Holo1-7B GGUF模型是Surfer-H系统的一部分，适用于视觉文档检索等多模态任务，特别擅长网页交互和网络监控，能以较低成本实现高准确性。

Llama-3.1-Nemotron-Nano-VL-8B-V1是一款先进的文档智能视觉语言模型，能够对图像和视频进行查询与总结，支持多环境部署。

Llama-3.1-Nemotron-Nano-4B-v1.1是一款基于Llama 3.1优化的大语言模型，在准确性和效率间取得良好平衡，适用于AI代理、聊天机器人等多种场景。

Qwen3是Qwen系列最新一代的大语言模型，提供了一系列密集和混合专家(MoE)模型，在推理、指令遵循、代理能力和多语言支持方面取得了突破性进展。

AceMath-RL-Nemotron-7B 是一个完全通过强化学习训练的数学推理模型，基于 Deepseek-R1-Distilled-Qwen-7B 进行训练，在数学推理任务中表现出色，同时在编码任务上也有一定的泛化能力。

D-FINE是一种强大的实时目标检测器，通过重新定义DETR模型中的边界框回归任务，实现了卓越的定位精度。

D-FINE 是一种实时目标检测模型，通过重新定义边界框回归任务，实现了卓越的定位精度。

Qwen2.5-VL-3B-Instruct是一个3B参数规模的多模态模型，支持图文生成任务，特别优化了在llama.cpp中的视觉功能支持。

Qwen2.5-VL-7B-Instruct 是一个多模态视觉语言模型，支持图像理解和文本生成任务。

Gemma 3 27B参数的GGUF量化版本，支持图像文本交互任务

RT-DETRv2是基于DETR架构改进的实时目标检测模型，通过选择性多尺度特征提取和动态数据增强等创新点优化了检测性能。

RT-DETRv2是实时目标检测Transformer模型的改进版本，通过多尺度特征提取和优化训练策略提升性能。

Qwen2-Audio是先进的小规模多模态模型，支持音频与文本输入，无需依赖语音识别模块即可实现语音交互。

Retinaface是基于MobileNet或ResNet50骨干网络的轻量级人脸检测模型，可高效定位人脸并提供面部关键点坐标。