Snowflake Arctic Embed L

🚀 Snowflake的Arctic-embed-l

Snowflake的Arctic-embed-l是一套文本嵌入模型，專注於創建針對性能優化的高質量檢索模型。該模型旨在解決文本檢索中的準確性和效率問題，為用戶提供更精準、高效的文本檢索體驗。

🚀 快速開始

環境準備

確保你已經安裝了所需的Python庫，如sentence-transformers、transformers等。

代碼示例

以下是使用sentence-transformers庫調用snowflake-arctic-embed-l模型的示例代碼：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("Snowflake/snowflake-arctic-embed-l")

queries = ['what is snowflake?', 'Where can I get the best tacos?']
documents = ['The Data Cloud!', 'Mexico City of Course!']

query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)

scores = query_embeddings @ document_embeddings.T
for query, query_scores in zip(queries, scores):
    doc_score_pairs = list(zip(documents, query_scores))
    doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)
    # 輸出段落和分數
    print("查詢:", query)
    for document, score in doc_score_pairs:
        print(score, document)

✨ 主要特性

• 高性能檢索：在MTEB/BEIR排行榜上，各尺寸變體的模型均達到了最先進的性能。
• 多模型選擇：提供snowflake-arctic-embed-xs、snowflake-arctic-embed-s、snowflake-arctic-embed-m、snowflake-arctic-embed-m-long和snowflake-arctic-embed-l等多種模型，滿足不同場景需求。
• 可替代閉源模型：最大的模型snowflake-arctic-embed-l可作為閉源嵌入的自然替代品。

📦 安裝指南

使用Sentence Transformers

pip install sentence-transformers

使用Huggingface transformers

pip install transformers

使用Transformers.js

npm i @xenova/transformers

💻 使用示例

基礎用法

使用Sentence Transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("Snowflake/snowflake-arctic-embed-l")

queries = ['what is snowflake?', 'Where can I get the best tacos?']
documents = ['The Data Cloud!', 'Mexico City of Course!']

query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)

scores = query_embeddings @ document_embeddings.T
for query, query_scores in zip(queries, scores):
    doc_score_pairs = list(zip(documents, query_scores))
    doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)
    # 輸出段落和分數
    print("查詢:", query)
    for document, score in doc_score_pairs:
        print(score, document)

使用Huggingface transformers

import torch
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('Snowflake/snowflake-arctic-embed-l')
model = AutoModel.from_pretrained('Snowflake/snowflake-arctic-embed-l', add_pooling_layer=False)
model.eval()

query_prefix = 'Represent this sentence for searching relevant passages: '
queries  = ['what is snowflake?', 'Where can I get the best tacos?']
queries_with_prefix = ["{}{}".format(query_prefix, i) for i in queries]
query_tokens = tokenizer(queries_with_prefix, padding=True, truncation=True, return_tensors='pt', max_length=512)

documents = ['The Data Cloud!', 'Mexico City of Course!']
document_tokens =  tokenizer(documents, padding=True, truncation=True, return_tensors='pt', max_length=512)

# 計算令牌嵌入
with torch.no_grad():
    query_embeddings = model(**query_tokens)[0][:, 0]
    document_embeddings = model(**document_tokens)[0][:, 0]

# 歸一化嵌入
query_embeddings = torch.nn.functional.normalize(query_embeddings, p=2, dim=1)
document_embeddings = torch.nn.functional.normalize(document_embeddings, p=2, dim=1)

scores = torch.mm(query_embeddings, document_embeddings.transpose(0, 1))
for query, query_scores in zip(queries, scores):
    doc_score_pairs = list(zip(documents, query_scores))
    doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)
    # 輸出段落和分數
    print("查詢:", query)
    for document, score in doc_score_pairs:
        print(score, document)

使用Transformers.js

import { pipeline, dot } from '@xenova/transformers';

// 創建特徵提取管道
const extractor = await pipeline('feature-extraction', 'Snowflake/snowflake-arctic-embed-l', {
    quantized: false, // 註釋掉此行以使用量化版本
});

// 生成句子嵌入
const sentences = [
    'Represent this sentence for searching relevant passages: Where can I get the best tacos?',
    'The Data Cloud!',
    'Mexico City of Course!',
]
const output = await extractor(sentences, { normalize: true, pooling: 'cls' });

// 計算相似度分數
const [source_embeddings, ...document_embeddings ] = output.tolist();
const similarities = document_embeddings.map(x => dot(source_embeddings, x));
console.log(similarities); // [0.25145517380846977, 0.3865060421197194]

高級用法

使用Infinity進行OpenAI兼容API部署

docker run --gpus all -v $PWD/data:/app/.cache -p "7997":"7997" \
michaelf34/infinity:0.0.70 \
v2 --model-id Snowflake/snowflake-arctic-embed-l --dtype float16 --batch-size 32 --engine torch --port 7997

📚 詳細文檔

模型介紹

snowflake-arctic-embed是一套文本嵌入模型，通過利用現有的開源文本表示模型（如bert-base-uncased），並在多階段管道中進行訓練，以優化其檢索性能。

模型對比

與閉源模型對比

🔧 技術細節

訓練過程

模型的訓練分為兩個階段：

1. 預訓練：使用大量的查詢 - 文檔對進行訓練，其中負樣本是在批次內推導出來的。預訓練利用了約4億個公共數據集和專有網絡搜索數據的混合樣本。
2. 優化訓練：在較小的數據集（約100萬個樣本）上進行長時間訓練，該數據集包含查詢、正文檔和負文檔的三元組，負樣本的挖掘和數據整理對檢索準確性至關重要。

技術報告

詳細的技術報告可以在這裡找到。

📄 許可證

Arctic採用Apache 2許可證。發佈的模型可以免費用於商業目的。