E5 Large En Ru
模型概述
E5-large-en-ru是一個多語言文本嵌入模型,專門針對俄語和英語進行了優化,適用於信息檢索、語義相似度計算等任務。
模型特點
詞彙表優化
通過剪枝僅保留俄語和英語詞元,顯著減小模型體積同時保持性能
高性能檢索
在SberQuAD基準測試中表現優異,各項指標與原版模型相當
多任務適配
支持通過前綴區分不同任務類型(查詢/段落/對稱任務)
模型能力
文本向量化
語義相似度計算
信息檢索
跨語言文本匹配
使用案例
信息檢索
開放域問答
用於檢索與問題最相關的文檔段落
在SberQuAD測試中recall@5達到82.8%
語義分析
文檔相似度計算
比較不同文檔之間的語義相似度
🚀 E5-large-en-ru
這是一個專為英文和俄文設計的句子嵌入模型,通過對詞彙表進行修剪,在保持性能的同時減小了模型大小,適用於多種自然語言處理任務。
🚀 快速開始
模型信息
這是 intfloat/multilingual-e5-large 經過詞彙表修剪後的版本,僅使用俄語和英語的標記。
大小
屬性 | intfloat/multilingual-e5-large | d0rj/e5-large-en-ru |
---|---|---|
模型大小 (MB) | 2135.82 | 1394.8 |
參數數量 | 559,890,946 | 365,638,14 |
詞嵌入維度 | 256,002,048 | 61,749,248 |
性能
在 SberQuAD 開發基準測試中性能相當。
SberQuAD 指標 (4122 個問題) | intfloat/multilingual-e5-large | d0rj/e5-large-en-ru |
---|---|---|
recall@3 | 0.787239204269772 | 0.7882096069868996 |
map@3 | 0.7230713245997101 | 0.723192624939351 |
mrr@3 | 0.7241630276564784 | 0.7243651948892132 |
recall@5 | 0.8277535177098496 | 0.8284813197476953 |
map@5 | 0.7301603186155587 | 0.7302573588872716 |
mrr@5 | 0.7334667637069385 | 0.7335718906679607 |
recall@10 | 0.8716642406598738 | 0.871421639980592 |
map@10 | 0.7314774917730316 | 0.7313000338687417 |
mrr@10 | 0.7392223685527911 | 0.7391814537556898 |
💻 使用示例
基礎用法
import torch.nn.functional as F
from torch import Tensor
from transformers import XLMRobertaTokenizer, XLMRobertaModel
def average_pool(last_hidden_states: Tensor, attention_mask: Tensor) -> Tensor:
last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]
input_texts = [
'query: How does a corporate website differ from a business card website?',
'query: Где был создан первый троллейбус?',
'passage: The first trolleybus was created in Germany by engineer Werner von Siemens, probably influenced by the idea of his brother, Dr. Wilhelm Siemens, who lived in England, expressed on May 18, 1881 at the twenty-second meeting of the Royal Scientific Society. The electrical circuit was carried out by an eight-wheeled cart (Kontaktwagen) rolling along two parallel contact wires. The wires were located quite close to each other, and in strong winds they often overlapped, which led to short circuits. An experimental trolleybus line with a length of 540 m (591 yards), opened by Siemens & Halske in the Berlin suburb of Halensee, operated from April 29 to June 13, 1882.',
'passage: Корпоративный сайт — содержит полную информацию о компании-владельце, услугах/продукции, событиях в жизни компании. Отличается от сайта-визитки и представительского сайта полнотой представленной информации, зачастую содержит различные функциональные инструменты для работы с контентом (поиск и фильтры, календари событий, фотогалереи, корпоративные блоги, форумы). Может быть интегрирован с внутренними информационными системами компании-владельца (КИС, CRM, бухгалтерскими системами). Может содержать закрытые разделы для тех или иных групп пользователей — сотрудников, дилеров, контрагентов и пр.',
]
tokenizer = XLMRobertaTokenizer.from_pretrained('d0rj/e5-large-en-ru', use_cache=False)
model = XLMRobertaModel.from_pretrained('d0rj/e5-large-en-ru', use_cache=False)
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100
print(scores.tolist())
# [[68.59542846679688, 81.75910949707031], [80.36100769042969, 64.77748107910156]]
高級用法
使用 transformers
庫的管道功能
from transformers import pipeline
pipe = pipeline('feature-extraction', model='d0rj/e5-large-en-ru')
embeddings = pipe(input_texts, return_tensors=True)
embeddings[0].size()
# torch.Size([1, 17, 1024])
使用 sentence-transformers
庫
from sentence_transformers import SentenceTransformer
sentences = [
'query: Что такое круглые тензоры?',
'passage: Abstract: we introduce a novel method for compressing round tensors based on their inherent radial symmetry. We start by generalising PCA and eigen decomposition on round tensors...',
]
model = SentenceTransformer('d0rj/e5-large-en-ru')
embeddings = model.encode(sentences, convert_to_tensor=True)
embeddings.size()
# torch.Size([2, 1024])
使用建議
- 使用 點積 距離進行檢索。
- 對於非對稱任務,如開放問答中的段落檢索、即席信息檢索,分別使用 "query: " 和 "passage: " 前綴。
- 對於對稱任務,如語義相似度、雙語挖掘、釋義檢索,使用 "query: " 前綴。
- 如果你想將嵌入用作特徵,如線性探測分類、聚類,使用 "query: " 前綴。
📄 許可證
本項目採用 MIT 許可證。
Jina Embeddings V3
Jina Embeddings V3 是一個多語言句子嵌入模型,支持超過100種語言,專注於句子相似度和特徵提取任務。
文本嵌入
Transformers 支持多種語言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基於MS Marco段落排序任務訓練的交叉編碼器模型,用於信息檢索中的查詢-段落相關性評分
文本嵌入 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基於蒸餾技術的稀疏檢索模型,專為OpenSearch優化,支持免推理文檔編碼,在搜索相關性和效率上優於V1版本
文本嵌入
Transformers 英語

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基於PubMedBERT的生物醫學實體表徵模型,通過自對齊預訓練優化語義關係捕捉
文本嵌入 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一個強大的句子轉換器模型,專注於句子相似度和文本嵌入任務,在多個基準測試中表現出色。
文本嵌入 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一個英文句子轉換器模型,專注於句子相似度任務,在多個文本嵌入基準測試中表現優異。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一個多語言的句子嵌入模型,支持超過50種語言,適用於句子相似度計算等任務。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一個化學語言模型,旨在實現完全由機器驅動的超快聚合物信息學。它將PSMILES字符串映射為600維密集指紋,以數值形式表示聚合物化學結構。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基於土耳其語BERT的句子嵌入模型,專為語義相似度任務優化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基於BAAI/bge-small-en-v1.5模型微調的文本嵌入模型,通過MEDI數據集與MTEB分類任務數據集訓練,優化了檢索任務的查詢編碼能力。
文本嵌入
Safetensors 英語
G
avsolatorio
945.68k
29
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98