S

Smollm 135M Instruct

Developed by litert-community
一個輕量級指令微調語言模型,專為移動端部署優化
Downloads 131
Release Time : 4/30/2025

Model Overview

該模型是HuggingFaceTB/SmolLM-135M-Instruct的變體,支持通過LiteRT框架和MediaPipe LLM推理API在Android設備上高效運行。

Model Features

移動端優化
專為Android/iOS/Web平臺優化,支持高效部署
量化支持
提供dynamic_int8和dynamic_int4量化版本,顯著減小模型體積
高效推理
通過LiteRT XNNPACK加速,支持4線程CPU推理
低內存佔用
量化後模型內存佔用顯著降低,適合移動設備

Model Capabilities

指令跟隨
文本生成
移動端推理

Use Cases

移動應用
設備端聊天助手
在Android設備上部署本地化聊天應用
量化版本可在保持性能的同時顯著降低資源佔用
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase