AIbase
ZH
模型选型
标签
大模型轻量化

# 大模型轻量化

Thedrummer Cydonia 24B V3 GGUF
其他
这是TheDrummer的Cydonia-24B-v3模型的量化版本，使用llama.cpp进行量化处理，提供了多种量化选项以适应不同硬件和使用场景。
大型语言模型
T
bartowski
1,326
4
Qwen3 30B A3B Abliterated Fp4
Apache-2.0
这是Qwen3-30B-A3B-abliterated的4位量化模型，参数规模相当于8B，适合文本生成任务。
大型语言模型 Transformers
Q
huihui-ai
103
1
Qwen Qwen3 32B GGUF
Apache-2.0
基于Qwen/Qwen3-32B的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于不同硬件需求。
大型语言模型
Q
bartowski
49.13k
35
GLM 4 32B 0414 4bit
MIT
GLM-4-32B-0414-4bit 是基于 THUDM/GLM-4-32B-0414 转换而来的 MLX 格式模型，支持中英文文本生成任务。
大型语言模型 支持多种语言
G
mlx-community
361
3
Wan2.1 FLF2V 14B 720P Gguf
Apache-2.0
Wan2.1-FLF2V-14B-720P 是一个视频生成模型，支持从图像生成视频，适用于多种视频创作场景。
视频处理 支持多种语言
W
city96
5,019
17
Belle Whisper Large V3 Turbo Zh Ct2
Apache-2.0
这是BELLE-2/Belle-whisper-large-v3-turbo-zh模型的CTranslate2格式转换版本，适用于高效语音识别任务。
语音识别
B
flateon
32
2
Llm2vec Meta Llama 31 8B Instruct Mntp Unsup Simcse
MIT
LLM2Vec是一种将仅解码器架构的大语言模型转换为文本编码器的方案，通过启用双向注意力、掩码下一词预测和无监督对比学习实现转换。
文本嵌入 英语
L
McGill-NLP
55
2
Molmo 7B D Bnb 4bit
Apache-2.0
Molmo-7B-D是一个经过BnB 4bit量化的大语言模型，模型体积从30GB减小到7GB，显存需求降低至约12GB。
大型语言模型 Transformers
M
cyan2k
1,994
17
C4ai Command R 08 2024
这是一个基于CoForAI/c4ai-command-r-08-2024模型转换的GGUF格式文本生成模型，支持多种语言。
大型语言模型 支持多种语言
C
KimChen
22
2
Malaysian Distil Whisper Large V3
基于马来西亚数据集蒸馏优化的Whisper Large V3语音识别模型，支持马来语等多种语言
语音识别 Transformers 支持多种语言
M
mesolitica
30
2
AIbase
智启未来，您的人工智能解决方案智库
English简体中文繁體中文にほんご
© 2025AIbase