AIbase
TW
模型選型
標籤
大模型輕量化

# 大模型輕量化

Thedrummer Cydonia 24B V3 GGUF
其他
這是TheDrummer的Cydonia-24B-v3模型的量化版本，使用llama.cpp進行量化處理，提供了多種量化選項以適應不同硬件和使用場景。
大型語言模型
T
bartowski
1,326
4
Qwen3 30B A3B Abliterated Fp4
Apache-2.0
這是Qwen3-30B-A3B-abliterated的4位量化模型，參數規模相當於8B，適合文本生成任務。
大型語言模型 Transformers
Q
huihui-ai
103
1
Qwen Qwen3 32B GGUF
Apache-2.0
基於Qwen/Qwen3-32B的量化版本，使用llama.cpp進行量化，支持多種量化類型，適用於不同硬件需求。
大型語言模型
Q
bartowski
49.13k
35
GLM 4 32B 0414 4bit
MIT
GLM-4-32B-0414-4bit 是基於 THUDM/GLM-4-32B-0414 轉換而來的 MLX 格式模型，支持中英文文本生成任務。
大型語言模型 支持多種語言
G
mlx-community
361
3
Wan2.1 FLF2V 14B 720P Gguf
Apache-2.0
Wan2.1-FLF2V-14B-720P 是一個視頻生成模型，支持從圖像生成視頻，適用於多種視頻創作場景。
視頻處理 支持多種語言
W
city96
5,019
17
Belle Whisper Large V3 Turbo Zh Ct2
Apache-2.0
這是BELLE-2/Belle-whisper-large-v3-turbo-zh模型的CTranslate2格式轉換版本，適用於高效語音識別任務。
語音識別
B
flateon
32
2
Llm2vec Meta Llama 31 8B Instruct Mntp Unsup Simcse
MIT
LLM2Vec是一種將僅解碼器架構的大語言模型轉換為文本編碼器的方案，通過啟用雙向注意力、掩碼下一詞預測和無監督對比學習實現轉換。
文本嵌入 英語
L
McGill-NLP
55
2
Molmo 7B D Bnb 4bit
Apache-2.0
Molmo-7B-D是一個經過BnB 4bit量化的大語言模型，模型體積從30GB減小到7GB，顯存需求降低至約12GB。
大型語言模型 Transformers
M
cyan2k
1,994
17
C4ai Command R 08 2024
這是一個基於CoForAI/c4ai-command-r-08-2024模型轉換的GGUF格式文本生成模型，支持多種語言。
大型語言模型 支持多種語言
C
KimChen
22
2
Malaysian Distil Whisper Large V3
基於馬來西亞數據集蒸餾優化的Whisper Large V3語音識別模型，支持馬來語等多種語言
語音識別 Transformers 支持多種語言
M
mesolitica
30
2
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase