AIbase
TW
模型選型
標籤
量化推理優化

# 量化推理優化

Mistral Anime Ai
Apache-2.0
基於Mistral模型的動漫角色聊天機器人，以《幫助狐仙大人》中的Senko為藍本，提供情感支持和溫暖對話體驗
大型語言模型 Safetensors 英語
M
senko-sleepy-fox
152
1
Openbuddy Qwq 32b V25.2q 200k
Apache-2.0
專為增強量化推理能力優化的多語言聊天機器人，支持8種語言，基於Qwen/QwQ-32B模型開發
大型語言模型 支持多種語言
O
OpenBuddy
41
3
Gemma 3 4b It Gguf
Gemma 3是谷歌推出的輕量級開源多模態模型，支持圖像和文本輸入，生成文本輸出。
圖像生成文本
G
Mungert
4,593
9
Gemma 3 4b It Q8 0 GGUF
這是Google Gemma 3B模型的GGUF量化版本，適用於本地部署和推理。
大型語言模型
G
NikolayKozloff
56
2
Deepseek R1 ReDistill Qwen 7B V1.1 Q8 0 GGUF
MIT
該模型是基於DeepSeek-R1-ReDistill-Qwen-7B-v1.1轉換的GGUF格式模型，適用於文本生成任務。
大型語言模型
D
NikolayKozloff
44
2
Llama 3.2 1B Instruct Q4 K M GGUF
這是一個基於Meta Llama-3.2-1B-Instruct模型轉換的GGUF格式量化版本，適用於本地推理場景。
大型語言模型 支持多種語言
L
hugging-quants
24.70k
16
Mythomax L2 13b Q4 K M GGUF
其他
MythoMax L2 13b是一個基於Q4_K_M量化版本的大語言模型，適用於文本生成任務。
大型語言模型 英語
M
Clevyby
1,716
2
34b Beta
Gpl-3.0
一個34B參數規模的大型語言模型β測試版，採用chatml提示詞格式，當前版本存在精度問題需注意使用限制
大型語言模型 Transformers
3
CausalLM
77
63
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase