Jina Embeddings V2 Base Zh

🚀 jina-embeddings-v2-base-zh

jina-embeddings-v2-base-zh 是由 Jina AI 训练的文本嵌入模型，支持中英双语，具备 8192 的序列长度。它能为单语言和跨语言应用提供高质量的文本嵌入，可用于文档检索等多种场景。

🚀 快速开始

使用 jina-embeddings-v2-base-zh 最简单的方法是使用 Jina AI 的 Embedding API。

✨ 主要特性

• 双语支持：支持中文和英文两种语言，能处理中英混合输入，无语言偏向性。
• 长序列处理：支持长达 8192 的序列长度，可对较长文本进行编码。
• 高性能架构：基于 BERT 架构（JinaBERT），并应用了 ALiBi 以支持更长序列。
• 多模型选择：除了 jina-embeddings-v2-base-zh，还提供多种不同参数和语言支持的嵌入模型。

📦 安装指南

使用该模型前，你需要安装 transformers 库：

!pip install transformers

若要使用 sentence-transformers 库，可通过以下命令安装：

!pip install -U sentence-transformers

💻 使用示例

基础用法

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

sentences = ['How is the weather today?', '今天天气怎么样?']

tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v2-base-zh')
model = AutoModel.from_pretrained('jinaai/jina-embeddings-v2-base-zh', trust_remote_code=True)

encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

with torch.no_grad():
    model_output = model(**encoded_input)

embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
embeddings = F.normalize(embeddings, p=2, dim=1)

高级用法

使用 encode 函数

from transformers import AutoModel
from numpy.linalg import norm

cos_sim = lambda a,b: (a @ b.T) / (norm(a)*norm(b))
model = AutoModel.from_pretrained('jinaai/jina-embeddings-v2-base-zh', trust_remote_code=True) 
embeddings = model.encode(['How is the weather today?', '今天天气怎么样?'])
print(cos_sim(embeddings[0], embeddings[1]))

控制输入序列长度

embeddings = model.encode(
    ['Very long ... document'],
    max_length=2048
)

使用 sentence-transformers 库

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

model = SentenceTransformer(
    "jinaai/jina-embeddings-v2-base-zh", 
    trust_remote_code=True
)

# 控制输入序列长度，最大为 8192
model.max_seq_length = 1024

embeddings = model.encode([
    'How is the weather today?',
    '今天天气怎么样?'
])
print(cos_sim(embeddings[0], embeddings[1]))

📚 详细文档

预期用途与模型信息

jina-embeddings-v2-base-zh 是一个支持中英双语的文本嵌入模型，支持 8192 的序列长度。它基于 BERT 架构（JinaBERT），该架构支持 ALiBi 的对称双向变体，以允许更长的序列长度。该模型专为单语言和跨语言应用的高性能而设计，并经过专门训练以支持中英混合输入，无语言偏向性。

数据与参数

数据和训练细节请参考 技术报告。

替代使用方式

• 托管 SaaS：可在 Jina AI 的 Embedding API 上获取免费密钥开始使用。
• 私有高性能部署：可从模型套件中选择模型，并在 AWS Sagemaker 上进行部署。

在 RAG 中使用 Jina 嵌入

根据 LLamaIndex 的最新博客文章：

综上所述，为了在命中率和 MRR 方面达到最佳性能，将 OpenAI 或 JinaAI-Base 嵌入与 CohereRerank/bge-reranker-large 重排器结合使用效果显著。

故障排除

模型代码加载失败

如果在调用 AutoModel.from_pretrained 或通过 SentenceTransformer 类初始化模型时忘记传递 trust_remote_code=True 标志，将收到模型权重无法初始化的错误。这是因为 transformers 库会回退到创建默认的 BERT 模型，而不是 jina 嵌入模型：

Some weights of the model checkpoint at jinaai/jina-embeddings-v2-base-zh were not used when initializing BertModel: ['encoder.layer.2.mlp.layernorm.weight', 'encoder.layer.3.mlp.layernorm.weight', 'encoder.layer.10.mlp.wo.bias', 'encoder.layer.5.mlp.wo.bias', 'encoder.layer.2.mlp.layernorm.bias', 'encoder.layer.1.mlp.gated_layers.weight', 'encoder.layer.5.mlp.gated_layers.weight', 'encoder.layer.8.mlp.layernorm.bias', ...

用户未登录 Huggingface

该模型仅在 受限访问 下可用，这意味着你需要登录 Huggingface 才能加载它。如果你收到以下错误，需要提供访问令牌，可以使用 huggingface-cli 或通过环境变量提供令牌：

OSError: jinaai/jina-embeddings-v2-base-zh is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo with `use_auth_token` or log in with `huggingface-cli login` and pass `use_auth_token=True`.

🔧 技术细节

为什么使用平均池化？

平均池化 会从模型输出中获取所有标记嵌入，并在句子/段落级别对它们进行平均。实践证明，这是生成高质量句子嵌入最有效的方法。我们提供了一个 encode 函数来处理这个问题。

📄 许可证

该模型使用 apache-2.0 许可证。

📊 评估结果

🤝 联系我们

加入我们的 Discord 社区，与其他社区成员交流想法。

📚 引用

如果您在研究中发现 Jina Embeddings 很有用，请引用以下论文：

@article{mohr2024multi,
  title={Multi-Task Contrastive Learning for 8192-Token Bilingual Text Embeddings},
  author={Mohr, Isabelle and Krimmel, Markus and Sturua, Saba and Akram, Mohammad Kalim and Koukounas, Andreas and Günther, Michael and Mastrapas, Georgios and Ravishankar, Vinit and Martínez, Joan Fontanals and Wang, Feng and others},
  journal={arXiv preprint arXiv:2402.17016},
  year={2024}
}