🚀 Snowflake's Arctic-embed-l-v2.0
Snowflake's Arctic-embed-l-v2.0是一款新的嵌入模型,旨在优化检索性能和推理效率。它在多语言文本检索方面表现出色,同时在英语任务中也不逊色。该模型在宽松的Apache 2.0许可下发布,非常适合需要大规模、可靠的企业级多语言搜索和检索的应用场景。
🚀 快速开始
使用Sentence Transformers
from sentence_transformers import SentenceTransformer
model_name = 'Snowflake/snowflake-arctic-embed-l-v2.0'
model = SentenceTransformer(model_name)
queries = ['what is snowflake?', 'Where can I get the best tacos?']
documents = ['The Data Cloud!', 'Mexico City of Course!']
query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)
scores = model.similarity(query_embeddings, document_embeddings)
for query, query_scores in zip(queries, scores):
doc_score_pairs = list(zip(documents, query_scores))
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)
print("Query:", query)
for document, score in doc_score_pairs:
print(score, document)
使用Huggingface Transformers
你可以使用transformers包来使用Snowflake的arctic-embed模型,如下所示。为了获得最佳的检索质量,请使用CLS标记来嵌入每个文本部分,并在查询中使用以下查询前缀。
import torch
from transformers import AutoModel, AutoTokenizer
model_name = 'Snowflake/snowflake-arctic-embed-l-v2.0'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name, add_pooling_layer=False)
model.eval()
query_prefix = 'query: '
queries = ['what is snowflake?', 'Where can I get the best tacos?']
queries_with_prefix = ["{}{}".format(query_prefix, i) for i in queries]
query_tokens = tokenizer(queries_with_prefix, padding=True, truncation=True, return_tensors='pt', max_length=8192)
documents = ['The Data Cloud!', 'Mexico City of Course!']
document_tokens = tokenizer(documents, padding=True, truncation=True, return_tensors='pt', max_length=8192)
with torch.no_grad():
query_embeddings = model(**query_tokens)[0][:, 0]
document_embeddings = model(**document_tokens)[0][:, 0]
query_embeddings = torch.nn.functional.normalize(query_embeddings, p=2, dim=1)
document_embeddings = torch.nn.functional.normalize(document_embeddings, p=2, dim=1)
scores = torch.mm(query_embeddings, document_embeddings.transpose(0, 1))
for query, query_scores in zip(queries, scores):
doc_score_pairs = list(zip(documents, query_scores))
doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)
print("Query:", query)
for document, score in doc_score_pairs:
print(score, document)
使用Huggingface Transformers.js
如果你还没有安装Transformers.js JavaScript库,可以从NPM进行安装:
npm i @huggingface/transformers
然后你可以使用该模型进行检索,如下所示:
import { pipeline, dot } from '@huggingface/transformers';
const extractor = await pipeline('feature-extraction', 'Snowflake/snowflake-arctic-embed-m-v2.0', {
dtype: 'q8',
});
const sentences = [
'query: what is snowflake?',
'The Data Cloud!',
'Mexico City of Course!',
]
const output = await extractor(sentences, { normalize: true, pooling: 'cls' });
const [source_embeddings, ...document_embeddings ] = output.tolist();
const similarities = document_embeddings.map(x => dot(source_embeddings, x));
console.log(similarities);
✨ 主要特性
- 多语言无妥协:在英语和非英语检索任务中表现出色,在MTEB Retrieval、CLEF和MIRACL等基准测试中优于领先的开源和专有模型。
- 推理效率高:其303m非嵌入参数的推理速度快,适用于任何规模的应用。
- 易于压缩:使用Matryoshka Representation Learning (MRL)和量化感知嵌入训练,可实现低至128字节/向量的高质量检索。
- 即插即用:基于BAAI/bge-m3-retromae构建,可直接替换任何新库、内核、推理引擎等进行推理。
- 长上下文支持:基于BAAI/bge-m3-retromae构建,通过RoPE可支持长达8192的上下文窗口。
🔧 技术细节
质量基准
与大多数其他开源模型不同,Arctic-embed-l-v2.0在英语(通过MTEB Retrieval)和多语言(通过MIRACL和CLEF)任务中均表现出色。以下是一些模型在不同基准测试中的平均NDCG@10得分:
模型名称 |
参数数量 |
非嵌入参数数量 |
维度 |
BEIR (15) |
MIRACL (4) |
CLEF (Focused) |
CLEF (Full) |
snowflake-arctic-l-v2.0 |
568M |
303M |
1024 |
55.6 |
55.8 |
52.9 |
54.3 |
snowflake-arctic-m |
109M |
86M |
768 |
54.9 |
24.9 |
34.4 |
29.1 |
snowflake-arctic-l |
335M |
303M |
1024 |
56.0 |
34.8 |
38.2 |
33.7 |
me5 base |
560M |
303M |
1024 |
51.4 |
54.0 |
43.0 |
34.6 |
bge-m3 (BAAI) |
568M |
303M |
1024 |
48.8 |
56.8 |
40.8 |
41.3 |
gte (Alibaba) |
305M |
113M |
768 |
51.1 |
52.3 |
47.7 |
53.1 |
除了高质量的检索,arctic还提供易于压缩的嵌入向量。通过MRL进行向量截断,可将向量大小减小4倍,而质量下降不到3%。结合MRL向量和向量压缩(Int4),可实现每个文档128字节的检索。
模型 |
维度 |
BEIR (15) |
相对性能 |
MIRACL (4) |
相对性能 |
CLEF (5) |
相对性能 |
CLEF (Full) |
相对性能 |
snowflake-arctic-l-v2.0 |
1024 |
55.6 |
N/A |
55.8 |
N/A |
52.9 |
N/A |
54.3 |
N/A |
snowflake-arctic-l-v2.0 |
256 |
54.3 |
-0.18% |
54.3 |
-2.70% |
51.9 |
-1.81% |
53.4 |
-1.53% |
📄 许可证
Arctic采用Apache-2许可。发布的模型可免费用于商业目的。
联系我们
如果你对这个项目有任何问题或建议,请随时打开一个issue或提交一个pull request。你也可以通过电子邮件联系Daniel Campos(daniel.campos@snowflake.com)。