# 低內存推理

一個輕量級指令微調語言模型，專為移動端部署優化

Falcon-E-3B-Instruct 是一個基於1.58比特架構的高效語言模型，專為邊緣設備優化，具有出色的推理能力和低內存佔用。

Falcon-E-1B-Instruct 是一個基於1.58比特架構的高效語言模型，專為邊緣設備優化，具有低內存佔用和高性能的特點。

all-MiniLM-L6-v2是一個小型高效的句子嵌入模型，基於MiniLM架構，適用於句子相似度計算和特徵提取任務。

基於Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型，採用精度自適應量化技術，在保持極致內存效率的同時提升推理精度。

PrunaAI提供的壓縮版MPT-7B-Chat模型，通過llm-int8技術優化，顯著降低內存佔用和能耗。

NLLB-200 Distilled 1.3B是Meta開發的神經機器翻譯模型，支持200種語言之間的翻譯，使用CTranslate2進行高效推理。

BTLM-3B-8k-base是一個具有8k上下文長度的30億參數語言模型，基於6270億token的SlimPajama數據集訓練而成，性能可媲美開源70億參數模型。