# 邊緣設備推理
Voice Based Stress Recognition
MIT
輕量級語音壓力識別模型,通過知識蒸餾技術訓練,適用於邊緣設備即時壓力檢測
音頻分類
PyTorch English
V
forwarder1121
1,458
1
Dans PersonalityEngine V1.3.0 24b GGUF
Apache-2.0
Dans-PersonalityEngine-V1.3.0-24b是一個多功能模型系列,在50多個專業數據集上進行了微調,支持多語言和專業領域任務。
大型語言模型
Transformers

D
Mungert
678
2
Josiefied Qwen3 8B Abliterated V1 GGUF
基於Qwen3-8B的量化版本,採用IQ-DynamicGate超低位量化技術,優化內存效率和推理速度
大型語言模型
J
Mungert
559
1
Llama Xlam 2 8b Fc R GGUF
Salesforce開發的8B參數大型動作模型(LAM),專注於將用戶意圖轉化為可執行動作,在多輪對話和工具使用方面表現優異。
大型語言模型 English
L
eaddario
264
1
Qwen2.5 7B Instruct GGUF
Apache-2.0
Qwen2.5-7B-Instruct是基於Qwen2.5-7B的指令微調模型,支持文本生成任務,特別優化了聊天場景下的表現。
大型語言模型 English
Q
Mungert
706
4
Qwen2.5 3B Instruct GGUF
Other
採用IQ-DynamicGate技術的超低位量化(1-2位)模型,適用於內存受限設備和高效推理場景
大型語言模型 English
Q
Mungert
704
4
GLM Z1 32B 0414 GGUF
MIT
GLM-Z1-32B-0414是一個32B參數規模的多語言文本生成模型,支持中文和英文,採用MIT許可證發佈。
大型語言模型 Supports Multiple Languages
G
Mungert
994
3
Deepcoder 14B Preview GGUF
MIT
採用IQ-DynamicGate技術的超低位量化(1-2比特)模型,適用於內存受限設備和邊緣計算場景
大型語言模型 English
D
Mungert
1,764
6
Olmo 2 0325 32B Instruct GGUF
Apache-2.0
基於OLMo-2-0325-32B-DPO的指令微調模型,採用IQ-DynamicGate超低比特量化技術,專為內存受限環境優化。
大型語言模型 English
O
Mungert
15.57k
2
Granite 3.2 8b Instruct GGUF
Apache-2.0
IBM Granite系列8B參數指令微調語言模型,採用IQ-DynamicGate超低比特量化技術,適用於高效推理場景
大型語言模型
G
Mungert
1,048
2
Mistral 7B Instruct V0.1 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.1是一個基於Mistral-7B-v0.1的微調模型,支持文本生成任務,採用IQ-DynamicGate超低比特量化技術,適用於內存受限的部署環境。
大型語言模型
M
Mungert
632
3
Llama 3.2 3B Instruct Frog
專為越南語優化的RAG版LLaMA3.2模型,基於Meta的輕量級LLM開發,適合本地和邊緣設備部署。
大型語言模型
Safetensors Supports Multiple Languages
L
phamhai
2,040
14
Featured Recommended AI Models
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers Supports Multiple Languages

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers English

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 Chinese
R
uer
2,694
98