# 邊緣計算優化

Devstral-Small-2505的量化版本，提供多種精度選擇以適應不同硬件需求

這是一個非常小巧且快速的日語重排序模型，適用於提升RAG系統的精度，在CPU或邊緣設備上也能高效運行。

GLM-Z1-9B-0414 是一個支持中英雙語的文本生成模型，採用 GGUF 格式，適用於多種量化級別，從 BF16 到超低位量化（1-2 比特）。

採用IQ-DynamicGate技術的超低位量化(1-2比特)語言模型，適用於內存受限環境

Falcon-E-3B-Instruct 是一個基於1.58比特架構的高效語言模型，專為邊緣設備優化，具有出色的推理能力和低內存佔用。

Falcon-E-1B-Instruct 是一個基於1.58比特架構的高效語言模型，專為邊緣設備優化，具有低內存佔用和高性能的特點。

Falcon-E-1B-Base 是由 TII 開發的一個高效 1.58 位語言模型，採用純 Transformer 架構，專為邊緣設備優化設計。

基於Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型，採用精度自適應量化技術，在保持極致內存效率的同時提升推理精度。

Glm-Edge-V-5B-GGUF是一個支持中英文的多語言圖文生成文本模型，基於GLM架構開發。

FLUX.1-Canny-dev 是一個基於文本生成圖像的模型，專注於圖像生成任務。

GLM-Edge-V-2B是一個基於Pytorch框架的圖像文本到文本模型，支持中文處理。

基於TinyLlama-1.1B-Chat-v1.0的混合模型，提供輕量級LLM解決方案

這是一個基於MIT/ast-finetuned-speech-commands-v2轉換的OpenVINO優化版本，用於加速語音指令識別任務的推理運算。