# 高效量化模型

Gama-12B的量化版本，提供多种量化类型的文件，适用于文本生成任务，支持英语和葡萄牙语。

Medra27B 量化模型是基于 nicoboss/Medra27B 基础模型进行静态量化的成果，适用于医疗相关领域的文本生成、摘要生成和诊断推理等任务。

这是Sarvam-m模型的量化版本，支持多种印度语言和英语的文本生成任务。

基于infly/inf-o1-pi0模型的量化版本，支持多语言文本生成任务，采用llama.cpp工具进行imatrix量化优化。

这是一个基于Pythia-70m模型的量化版本，专门针对Wikipedia段落数据进行优化，提供多种量化类型以适应不同资源需求。

基于Menlo/Speechless-llama3.2-v0.1的静态量化版本，支持英语和越南语的多语言处理。

一个轻量级的文本排序模型，适用于重新排序搜索结果或文档

aya-23-35B-GGUF量化版是基于CohereForAI/aya-23-35B的GGUF量化版本，支持23种语言的多语言文本生成任务。