Gguf Jina Reranker V1 Tiny En
专为极速重排序设计的模型,基于JinaBERT架构,支持长文本序列处理(最高8,192令牌)。
下载量 3,831
发布时间 : 1/25/2025
模型简介
该模型通过知识蒸馏技术实现快速重排序,在保持竞争力的性能下优先考虑速度,适合对绝对准确性要求不高的场景。
模型特点
极速重排序
通过4层架构和33.0百万参数设计,实现最快的推理速度。
长文本处理
支持最高8,192个令牌的序列长度,优于传统重排序模型。
知识蒸馏技术
从更复杂的教师模型(jina-reranker-v1-base-en)中提取知识,保持竞争力性能。
模型能力
文本重排序
长文本序列处理
快速推理
使用案例
信息检索
搜索结果重排序
对搜索引擎返回的结果进行相关性重排序
提高前3位结果的命中率达85%
推荐系统
推荐内容排序
根据用户查询对推荐内容进行相关性排序
🚀 jina-reranker-v1-tiny-en-GGUF
jina-reranker-v1-tiny-en-GGUF
模型专为实现极快的重排序速度而设计,同时保持了具有竞争力的性能。它基于 JinaBERT 模型,能够处理长达 8192 个标记的文本序列,在文本重排序任务中表现出色。
🚀 快速开始
使用 Jina AI 的 Reranker API
使用 Jina AI 的 Reranker API 是开始使用 jina-reranker-v1-tiny-en
的最简单方法。
curl https://api.jina.ai/v1/rerank \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "jina-reranker-v1-tiny-en",
"query": "Organic skincare products for sensitive skin",
"documents": [
"Eco-friendly kitchenware for modern homes",
"Biodegradable cleaning supplies for eco-conscious consumers",
"Organic cotton baby clothes for sensitive skin",
"Natural organic skincare range for sensitive skin",
"Tech gadgets for smart homes: 2024 edition",
"Sustainable gardening tools and compost solutions",
"Sensitive skin-friendly facial cleansers and toners",
"Organic food wraps and storage solutions",
"All-natural pet food for dogs with allergies",
"Yoga mats made from recycled materials"
],
"top_n": 3
}'
使用 sentence-transformers
库
你可以使用最新版本的 sentence-transformers>=0.27.0
库与模型进行交互。首先,通过以下命令安装该库:
pip install -U sentence-transformers
然后,使用以下代码与模型进行交互:
from sentence_transformers import CrossEncoder
# Load the model, here we use our tiny sized model
model = CrossEncoder("jinaai/jina-reranker-v1-tiny-en", trust_remote_code=True)
# Example query and documents
query = "Organic skincare products for sensitive skin"
documents = [
"Eco-friendly kitchenware for modern homes",
"Biodegradable cleaning supplies for eco-conscious consumers",
"Organic cotton baby clothes for sensitive skin",
"Natural organic skincare range for sensitive skin",
"Tech gadgets for smart homes: 2024 edition",
"Sustainable gardening tools and compost solutions",
"Sensitive skin-friendly facial cleansers and toners",
"Organic food wraps and storage solutions",
"All-natural pet food for dogs with allergies",
"Yoga mats made from recycled materials"
]
results = model.rank(query, documents, return_documents=True, top_k=3)
使用 transformers
库
你还可以使用 transformers
库以编程方式与模型进行交互。
!pip install transformers
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained(
'jinaai/jina-reranker-v1-tiny-en', num_labels=1, trust_remote_code=True
)
# Example query and documents
query = "Organic skincare products for sensitive skin"
documents = [
"Eco-friendly kitchenware for modern homes",
"Biodegradable cleaning supplies for eco-conscious consumers",
"Organic cotton baby clothes for sensitive skin",
"Natural organic skincare range for sensitive skin",
"Tech gadgets for smart homes: 2024 edition",
"Sustainable gardening tools and compost solutions",
"Sensitive skin-friendly facial cleansers and toners",
"Organic food wraps and storage solutions",
"All-natural pet food for dogs with allergies",
"Yoga mats made from recycled materials"
]
# construct sentence pairs
sentence_pairs = [[query, doc] for doc in documents]
scores = model.compute_score(sentence_pairs)
使用 transformers.js
库
你可以使用 transformers.js
库直接在 JavaScript(浏览器、Node.js、Deno 等)中运行模型。首先,通过以下命令安装该库:
npm i @xenova/transformers
然后,使用以下代码与模型进行交互:
import { AutoTokenizer, AutoModelForSequenceClassification } from '@xenova/transformers';
const model_id = 'jinaai/jina-reranker-v1-tiny-en';
const model = await AutoModelForSequenceClassification.from_pretrained(model_id, { quantized: false });
const tokenizer = await AutoTokenizer.from_pretrained(model_id);
/**
* Performs ranking with the CrossEncoder on the given query and documents. Returns a sorted list with the document indices and scores.
* @param {string} query A single query
* @param {string[]} documents A list of documents
* @param {Object} options Options for ranking
* @param {number} [options.top_k=undefined] Return the top-k documents. If undefined, all documents are returned.
* @param {number} [options.return_documents=false] If true, also returns the documents. If false, only returns the indices and scores.
*/
async function rank(query, documents, {
top_k = undefined,
return_documents = false,
} = {}) {
const inputs = tokenizer(
new Array(documents.length).fill(query),
{ text_pair: documents, padding: true, truncation: true }
)
const { logits } = await model(inputs);
return logits.sigmoid().tolist()
.map(([score], i) => ({
corpus_id: i,
score,
...(return_documents ? { text: documents[i] } : {})
})).sort((a, b) => b.score - a.score).slice(0, top_k);
}
// Example usage:
const query = "Organic skincare products for sensitive skin"
const documents = [
"Eco-friendly kitchenware for modern homes",
"Biodegradable cleaning supplies for eco-conscious consumers",
"Organic cotton baby clothes for sensitive skin",
"Natural organic skincare range for sensitive skin",
"Tech gadgets for smart homes: 2024 edition",
"Sustainable gardening tools and compost solutions",
"Sensitive skin-friendly facial cleansers and toners",
"Organic food wraps and storage solutions",
"All-natural pet food for dogs with allergies",
"Yoga mats made from recycled materials",
]
const results = await rank(query, documents, { return_documents: true, top_k: 3 });
console.log(results);
✨ 主要特性
- 极快的重排序速度:通过知识蒸馏技术,该模型在保持较高准确率的同时,实现了极快的推理速度。
- 长序列处理能力:基于 JinaBERT 模型,支持对称双向的 ALiBi,能够处理长达 8192 个标记的文本序列。
- 多种使用方式:支持通过 Jina AI 的 Reranker API、
sentence-transformers
库、transformers
库和transformers.js
库与模型进行交互。
📦 安装指南
安装 sentence-transformers
库
pip install -U sentence-transformers
安装 transformers
库
pip install transformers
安装 transformers.js
库
npm i @xenova/transformers
📚 详细文档
模型信息
属性 | 详情 |
---|---|
模型创建者 | Jina AI |
原始模型 | jina-reranker-v1-tiny-en |
GGUF 量化 | 基于 llama.cpp 版本 f4d2b |
重排序模型对比
模型名称 | 层数 | 隐藏层大小 | 参数数量(百万) |
---|---|---|---|
jina-reranker-v1-base-en | 12 | 768 | 137.0 |
jina-reranker-v1-turbo-en | 6 | 384 | 37.8 |
jina-reranker-v1-tiny-en | 4 | 384 | 33.0 |
评估结果
为确保顶级性能和搜索相关性,我们在 3 个关键基准测试中对 Jina Reranker 进行了评估。
模型名称 | NDCG@10 (17 BEIR 数据集) | NDCG@10 (5 LoCo 数据集) | 命中率 (LlamaIndex RAG) |
---|---|---|---|
jina-reranker-v1-base-en |
52.45 | 87.31 | 85.53 |
jina-reranker-v1-turbo-en |
49.60 | 69.21 | 85.13 |
jina-reranker-v1-tiny-en (当前模型) |
48.54 | 70.29 | 85.00 |
mxbai-rerank-base-v1 |
49.19 | - | 82.50 |
mxbai-rerank-xsmall-v1 |
48.80 | - | 83.69 |
ms-marco-MiniLM-L-6-v2 |
48.64 | - | 82.63 |
ms-marco-MiniLM-L-4-v2 |
47.81 | - | 83.82 |
bge-reranker-base |
47.89 | - | 83.03 |
⚠️ 重要提示
NDCG@10
是衡量排序质量的指标,分数越高表示搜索结果越好。命中率
衡量的是相关文档出现在前 10 个搜索结果中的百分比。- 由于其他模型不支持超过 512 个标记的长文档,因此无法获取它们在 LoCo 数据集上的结果。
更多详细信息,请参考我们的 基准测试表。
📄 许可证
本项目采用 Apache-2.0 许可证。
🔗 联系我们
加入我们的 Discord 社区,与其他社区成员交流想法。
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98