opensearch-neural-sparse-encoding-doc-v2-distill-GGUF开源模型

Opensearch Neural Sparse Encoding Doc V2 Distill GGUF

Developed by mradermacher

OpenSearch神经稀疏编码文档V2蒸馏模型的静态量化版本，适用于检索和文档扩展等任务。

Downloads 146

Release Time : 5/31/2025

Model Overview

该模型是OpenSearch神经稀疏编码文档V2蒸馏模型的静态量化版本，主要用于英文文本的检索、文档扩展等任务，支持多种量化选项以适应不同需求。

静态量化

提供多种量化版本，从Q2_K到Q8_0，适应不同性能和精度需求。

高效检索

专为文档检索和扩展优化，支持高效的稀疏编码。

轻量级

量化后模型大小从0.1GB到0.2GB，适合资源受限环境。

文档检索

文档扩展

稀疏编码

高效推理

信息检索

搜索引擎

用于构建高效的搜索引擎，支持快速文档检索。

提升检索速度和准确性。

文档处理

文档扩展

用于扩展文档内容，增强信息覆盖。

提升文档的信息量和相关性。

本项目提供了 opensearch-project/opensearch-neural-sparse-encoding-doc-v2-distill 模型的静态量化版本，可用于检索、文档扩展等任务。

属性	详情
基础模型	opensearch-project/opensearch-neural-sparse-encoding-doc-v2-distill
语言	英文
库名称	transformers
许可证	apache-2.0
量化者	mradermacher
标签	learned sparse、opensearch、transformers、retrieval、passage-retrieval、document-expansion、bag-of-words、sentence-transformers、sparse-encoder、sparse、asymmetric、inference-free、splade

⚠️ 重要提示

目前加权/矩阵量化（weighted/imatrix quants）似乎不可用。如果在静态量化版本发布大约一周后仍未出现，可能是我未计划支持。你可以通过发起社区讨论来请求支持。

如需方便的概述和下载列表，请访问我们的该模型页面。

如果您不确定如何使用GGUF文件，请参考 TheBloke的README文档以获取更多详细信息，包括如何拼接多部分文件。

（按大小排序，不一定按质量排序。IQ量化通常优于类似大小的非IQ量化）

链接	类型	大小/GB	说明
GGUF	Q2_K	0.1
GGUF	Q3_K_S	0.1
GGUF	Q3_K_M	0.1	质量较低
GGUF	IQ4_XS	0.1
GGUF	Q3_K_L	0.1
GGUF	Q4_K_S	0.1	快速，推荐
GGUF	Q4_K_M	0.1	快速，推荐
GGUF	Q5_K_S	0.2
GGUF	Q5_K_M	0.2
GGUF	Q6_K	0.2	质量非常好
GGUF	Q8_0	0.2	快速，质量最佳
GGUF	f16	0.2	16位每权重，过度配置