Jina Embeddings V2 Base Zh

🚀 jina-embeddings-v2-base-zh

jina-embeddings-v2-base-zh 是由 Jina AI 訓練的文本嵌入模型，支持中英雙語，具備 8192 的序列長度。它能為單語言和跨語言應用提供高質量的文本嵌入，可用於文檔檢索等多種場景。

🚀 快速開始

使用 jina-embeddings-v2-base-zh 最簡單的方法是使用 Jina AI 的 Embedding API。

✨ 主要特性

• 雙語支持：支持中文和英文兩種語言，能處理中英混合輸入，無語言偏向性。
• 長序列處理：支持長達 8192 的序列長度，可對較長文本進行編碼。
• 高性能架構：基於 BERT 架構（JinaBERT），並應用了 ALiBi 以支持更長序列。
• 多模型選擇：除了 jina-embeddings-v2-base-zh，還提供多種不同參數和語言支持的嵌入模型。

📦 安裝指南

使用該模型前，你需要安裝 transformers 庫：

!pip install transformers

若要使用 sentence-transformers 庫，可通過以下命令安裝：

!pip install -U sentence-transformers

💻 使用示例

基礎用法

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

sentences = ['How is the weather today?', '今天天氣怎麼樣?']

tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v2-base-zh')
model = AutoModel.from_pretrained('jinaai/jina-embeddings-v2-base-zh', trust_remote_code=True)

encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

with torch.no_grad():
    model_output = model(**encoded_input)

embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
embeddings = F.normalize(embeddings, p=2, dim=1)

高級用法

使用 encode 函數

from transformers import AutoModel
from numpy.linalg import norm

cos_sim = lambda a,b: (a @ b.T) / (norm(a)*norm(b))
model = AutoModel.from_pretrained('jinaai/jina-embeddings-v2-base-zh', trust_remote_code=True) 
embeddings = model.encode(['How is the weather today?', '今天天氣怎麼樣?'])
print(cos_sim(embeddings[0], embeddings[1]))

控制輸入序列長度

embeddings = model.encode(
    ['Very long ... document'],
    max_length=2048
)

使用 sentence-transformers 庫

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

model = SentenceTransformer(
    "jinaai/jina-embeddings-v2-base-zh", 
    trust_remote_code=True
)

# 控制輸入序列長度，最大為 8192
model.max_seq_length = 1024

embeddings = model.encode([
    'How is the weather today?',
    '今天天氣怎麼樣?'
])
print(cos_sim(embeddings[0], embeddings[1]))

📚 詳細文檔

預期用途與模型信息

jina-embeddings-v2-base-zh 是一個支持中英雙語的文本嵌入模型，支持 8192 的序列長度。它基於 BERT 架構（JinaBERT），該架構支持 ALiBi 的對稱雙向變體，以允許更長的序列長度。該模型專為單語言和跨語言應用的高性能而設計，並經過專門訓練以支持中英混合輸入，無語言偏向性。

數據與參數

數據和訓練細節請參考 技術報告。

替代使用方式

• 託管 SaaS：可在 Jina AI 的 Embedding API 上獲取免費密鑰開始使用。
• 私有高性能部署：可從模型套件中選擇模型，並在 AWS Sagemaker 上進行部署。

在 RAG 中使用 Jina 嵌入

根據 LLamaIndex 的最新博客文章：

綜上所述，為了在命中率和 MRR 方面達到最佳性能，將 OpenAI 或 JinaAI-Base 嵌入與 CohereRerank/bge-reranker-large 重排器結合使用效果顯著。

故障排除

模型代碼加載失敗

如果在調用 AutoModel.from_pretrained 或通過 SentenceTransformer 類初始化模型時忘記傳遞 trust_remote_code=True 標誌，將收到模型權重無法初始化的錯誤。這是因為 transformers 庫會回退到創建默認的 BERT 模型，而不是 jina 嵌入模型：

Some weights of the model checkpoint at jinaai/jina-embeddings-v2-base-zh were not used when initializing BertModel: ['encoder.layer.2.mlp.layernorm.weight', 'encoder.layer.3.mlp.layernorm.weight', 'encoder.layer.10.mlp.wo.bias', 'encoder.layer.5.mlp.wo.bias', 'encoder.layer.2.mlp.layernorm.bias', 'encoder.layer.1.mlp.gated_layers.weight', 'encoder.layer.5.mlp.gated_layers.weight', 'encoder.layer.8.mlp.layernorm.bias', ...

用戶未登錄 Huggingface

該模型僅在 受限訪問 下可用，這意味著你需要登錄 Huggingface 才能加載它。如果你收到以下錯誤，需要提供訪問令牌，可以使用 huggingface-cli 或通過環境變量提供令牌：

OSError: jinaai/jina-embeddings-v2-base-zh is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo with `use_auth_token` or log in with `huggingface-cli login` and pass `use_auth_token=True`.

🔧 技術細節

為什麼使用平均池化？

平均池化 會從模型輸出中獲取所有標記嵌入，並在句子/段落級別對它們進行平均。實踐證明，這是生成高質量句子嵌入最有效的方法。我們提供了一個 encode 函數來處理這個問題。

📄 許可證

該模型使用 apache-2.0 許可證。

📊 評估結果

🤝 聯繫我們

加入我們的 Discord 社區，與其他社區成員交流想法。

📚 引用

如果您在研究中發現 Jina Embeddings 很有用，請引用以下論文：

@article{mohr2024multi,
  title={Multi-Task Contrastive Learning for 8192-Token Bilingual Text Embeddings},
  author={Mohr, Isabelle and Krimmel, Markus and Sturua, Saba and Akram, Mohammad Kalim and Koukounas, Andreas and Günther, Michael and Mastrapas, Georgios and Ravishankar, Vinit and Martínez, Joan Fontanals and Wang, Feng and others},
  journal={arXiv preprint arXiv:2402.17016},
  year={2024}
}