# 輕量化推理

Echelon AI Med Qwen2 7B GGUF
該項目提供了Echelon-AI/Med-Qwen2-7B模型的GGUF量化文件,由Featherless AI提供支持,旨在增強模型性能並降低運行成本。
大型語言模型
E
featherless-ai-quants
183
1
Magma 8B GGUF
MIT
Magma-8B是一個基於GGUF格式的圖像文本到文本轉換模型,適用於多模態任務處理。
圖像生成文本
M
Mungert
545
1
Qwen3 1.7B GGUF
Apache-2.0
Qwen3是通義千問系列大語言模型的最新版本,提供了一系列密集型和混合專家(MoE)模型。基於大規模訓練,Qwen3在推理、指令遵循、智能體能力和多語言支持方面實現了突破性進展。
大型語言模型 英語
Q
prithivMLmods
357
1
Qwen3 0.6B GGUF
Apache-2.0
Qwen3是通義千問系列大語言模型的最新版本,提供了一系列密集型和混合專家(MoE)模型。基於大規模訓練,Qwen3在推理能力、指令遵循、智能體功能和多語言支持方面實現了突破性進展。
大型語言模型 英語
Q
prithivMLmods
290
1
Zhaav Gemma3 4B
基於Gemma 3架構微調的波斯語專用模型,使用QLoRA 4位量化技術,適合普通硬件運行。
大型語言模型 其他
Z
alifzl
40
1
Arrowmint Gemma3 4B YUKI V0.1
專為AI虛擬主播(AI VTuber)對話優化的日語語言模型,基於Google的gemma-3-4b-it開發
大型語言模型 支持多種語言
A
DataPilot
73
6
Bge Reranker V2 M3 Q5 K M GGUF
Apache-2.0
該模型是通過ggml.ai的GGUF-my-repo空間,使用llama.cpp從BAAI/bge-reranker-v2-m3轉換而來的GGUF格式模型,主要用於文本分類任務。
文本嵌入 其他
B
pyarn
31
1
Rank Zephyr 7b V1 Full GGUF
MIT
這是castorini/rank_zephyr_7b_v1_full模型的GGUF量化版本,適用於文本排序任務。
大型語言模型 英語
R
tensorblock
66
0
USER Bge M3 Q8 0 GGUF
Apache-2.0
該模型是從deepvk/USER-bge-m3轉換而來的GGUF格式模型,主要用於句子相似度和特徵提取任務。
文本嵌入 其他
U
alela32
39
1
Flan T5 Base Q4 K M GGUF
Apache-2.0
該模型是基於Google的flan-t5-base模型轉換而來的GGUF格式版本,支持多種語言和任務,適用於文本生成和推理任務。
大型語言模型 支持多種語言
F
marroyo777
23
1
3danimationdiffusion V10 GGUF
Openrail
一個基於穩定擴散技術的3D動畫風格文本生成圖像模型,支持生成迪士尼、動漫風格的3D圖像。
圖像生成 英語
3
second-state
182
5
USER Bge M3 Q4 K M GGUF
Apache-2.0
該模型是從deepvk/USER-bge-m3轉換而來的GGUF格式模型,主要用於句子相似度計算和特徵提取。
文本嵌入 其他
U
cm4ker
117
2
Robbert 2022 Dutch Sentence Transformers Onnx
荷蘭法醫研究所RobBERT-2022荷蘭語句嵌入模型的ONNX版本,專為高速和輕量化性能優化。
文本嵌入
R
LightEmbed
18
1
Faster Whisper Large V2
MIT
這是OpenAI Whisper large-v2模型的CTranslate2轉換版本,用於高效語音識別
語音識別 支持多種語言
F
guillaumekln
161.19k
199
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase