AIbase
TW
模型選型
標籤
4bit量化高效推理

# 4bit量化高效推理

Llama 3.2 11B Vision Radiology Mini
這是一個基於Llama架構的多模態模型，支持視覺和文本指令，經過4位量化優化。
圖像生成文本
L
p4rzvl
69
0
Smolvlm2 2.2B Instruct 4bit
Apache-2.0
SmolVLM2-2.2B-Instruct-4bit 是一個基於 MLX 格式轉換的視覺語言模型，專注於視頻文本到文本的任務。
圖像生成文本 Transformers 英語
S
smdesai
24
1
Qwen2 VL 7B Latex OCR
Apache-2.0
基於Qwen2-VL-7B模型的微調版本，使用Unsloth和Huggingface TRL庫進行訓練，推理速度提升2倍。
文本生成圖像 Transformers 英語
Q
erickrus
35
3
Qwen2.5 1.5B TrSummarization Unsloth GGUF
Apache-2.0
基於Qwen2.5-1.5B模型微調的4位量化版本，專注於土耳其語文本生成和摘要任務
大型語言模型 其他
Q
anilguven
29
0
Llama3.2 1b TrSummarization Unsloth GGUF
Apache-2.0
基於unsloth/Llama-3.2-1B-bnb-4bit微調的土耳其語文本生成模型，專注於摘要生成任務。
大型語言模型 其他
L
anilguven
20
0
Llama3.2 3b TrSummarization Unsloth GGUF
Apache-2.0
基於unsloth/Llama-3.2-3B-bnb-4bit微調的土耳其語文本生成模型，專注於摘要生成任務。
大型語言模型 其他
L
anilguven
48
0
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase