Snowflake Arctic Embed L V2.0 Ko

🚀 基於Snowflake/snowflake-arctic-embed-l-v2.0的句子轉換器

這是一個基於 sentence-transformers 的模型，它在聚類數據集上對 Snowflake/snowflake-arctic-embed-l-v2.0 進行了微調。該模型可以將句子和段落映射到一個1024維的密集向量空間，可用於語義文本相似度計算和語義搜索。

Snowflake/snowflake-arctic-embed-l-v2.0 模型進一步使用韓語數據進行了訓練，以提高其在 韓語檢索任務 中的性能。它是一個強大的模型，在多個檢索基準測試中達到了 最先進（SOTA）的性能。

🚀 快速開始

本模型可以將句子和段落映射到1024維的密集向量空間，可用於語義文本相似度計算和語義搜索。

✨ 主要特性

• 基於 Snowflake/snowflake-arctic-embed-l-v2.0 微調，在聚類數據集上訓練。
• 支持韓語和英語，在韓語檢索任務中表現出色。
• 可將句子和段落映射到1024維的密集向量空間，用於語義文本相似度計算和語義搜索。
• 在多個檢索基準測試中達到了最先進（SOTA）的性能。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫和 xformers 庫：

pip install -U sentence-transformers
pip install xformers

💻 使用示例

基礎用法

使用 sentence-transformers 庫加載模型並進行推理：

from sentence_transformers import SentenceTransformer

# 加載模型
# 半精度推理時請使用bf16
model_name = 'dragonkue/snowflake-arctic-embed-l-v2.0-ko'
model = SentenceTransformer(model_name)

# 定義查詢和文檔
queries = ['대한민국의 수도는 어디인가?', '한글을 만든 사람은 누구인가?']
documents = ['대한민국의 수도는 서울이다.', '한글은 세종대왕이 창제하였다.']

# 計算嵌入：使用 `prompt_name="query"` 對查詢進行編碼！
query_embeddings = model.encode(queries, prompt_name="query") 
document_embeddings = model.encode(documents)

# 計算餘弦相似度分數
scores = model.similarity(query_embeddings, document_embeddings)

# 輸出結果
for query, query_scores in zip(queries, scores):
    doc_score_pairs = list(zip(documents, query_scores))
    doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)
    print("Query:", query)
    for document, score in doc_score_pairs:
        print(score, document)

高級用法

使用 transformers 包加載模型並進行推理：

import torch
from transformers import AutoModel, AutoTokenizer

# 加載模型
# 半精度推理時請使用bf16
model_name = 'dragonkue/snowflake-arctic-embed-l-v2.0-ko'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name, add_pooling_layer=False)
model.eval()

# 定義查詢和文檔
query_prefix = 'query: '
queries  = ['대한민국의 수도는 어디인가?', '한글을 만든 사람은 누구인가?']
queries_with_prefix = ["{}{}".format(query_prefix, i) for i in queries]
query_tokens = tokenizer(queries_with_prefix, padding=True, truncation=True, return_tensors='pt', max_length=8192)

documents = ['대한민국의 수도는 서울이다.', '한글은 세종대왕이 창제하였다.']
document_tokens = tokenizer(documents, padding=True, truncation=True, return_tensors='pt', max_length=8192)

# 計算令牌嵌入
with torch.no_grad():
    query_embeddings = model(**query_tokens)[0][:, 0]
    document_embeddings = model(**document_tokens)[0][:, 0]

# 歸一化嵌入
query_embeddings = torch.nn.functional.normalize(query_embeddings, p=2, dim=1)
document_embeddings = torch.nn.functional.normalize(document_embeddings, p=2, dim=1)

scores = torch.mm(query_embeddings, document_embeddings.transpose(0, 1))

for query, query_scores in zip(queries, scores):
    doc_score_pairs = list(zip(documents, query_scores))
    doc_score_pairs = sorted(doc_score_pairs, key=lambda x: x[1], reverse=True)
    # 輸出段落和分數
    print("Query:", query)
    for document, score in doc_score_pairs:
        print(score, document)

📚 詳細文檔

模型詳情

模型來源

• 文檔：Sentence Transformers Documentation
• 倉庫：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

• 評估參考了KURE GitHub倉庫（https://github.com/nlpai-lab/KURE）。
• 在 MTEB 中註冊的所有 韓語檢索基準測試 上進行了評估。

韓語檢索基準測試

• Ko-StrategyQA：一個韓語 開放域問答多跳檢索數據集，從StrategyQA翻譯而來。
• AutoRAGRetrieval：一個 韓語文檔檢索數據集，通過解析五個領域（金融、公共、醫療、法律和商業）的PDF構建。
• MIRACLRetrieval：一個基於維基百科的 韓語文檔檢索數據集。
• PublicHealthQA：一個專注於 醫療和公共衛生領域 的韓語 檢索數據集。
• BelebeleRetrieval：一個基於FLORES-200的 韓語文檔檢索數據集。
• MrTidyRetrieval：一個基於維基百科的 韓語文檔檢索數據集。
• MultiLongDocRetrieval：一個涵蓋多個領域的韓語 長文檔檢索數據集。
• XPQARetrieval：一個 跨領域韓語文檔檢索數據集。

指標

• 標準指標：NDCG@10

信息檢索

基準測試之外的能力

• 支持短語查詢：除了完整句子查詢外，還支持基於短語的查詢。例如："What products does Samsung sell?" 或 "Samsung's products"。
• 處理多樣化查詢格式：經過訓練，能夠處理各種查詢格式，無論措辭如何變化。例如："Tell me about Samsung."、"I'm curious about Samsung."、"What is Samsung?"。
• 優化Markdown表格搜索：針對Markdown表格搜索進行了優化，當文檔中存在表格時，可以檢索嵌入在表格中的答案。
• 高效聚類：無需硬負樣本即可進行高效聚類。在同一批次內對樣本進行聚類，通過將 Snowflake/snowflake-arctic-embed-l-v2.0 模型的嵌入截斷為256維來進行高效的聚類嵌入形成。聚類方法受到以下論文的啟發：
  • Embedding And Clustering Your Data Can Improve Contrastive Pretraining
  • CONTEXTUAL DOCUMENT EMBEDDINGS
• 跨領域表現出色：在不同領域表現出色。《Arctic-Embed 2.0: Multilingual Retrieval Without Compromise》論文指出：“雖然像mE5、mGTE和BGE-M3這樣的模型在MIRACL上表現出色，但它們在CLEF上的性能明顯弱於我們的模型和閉源產品，這表明它們可能過度擬合了MIRACL或其基於維基百科的領域。” 根據經驗，Snowflake/snowflake-arctic-embed-l-v2.0 在不同領域始終優於 BGE-M3。

偏差、風險和限制

為了防止過高的GPU使用成本，模型在訓練時的最大序列長度為 1300 個令牌。因此，在像 MultiLongDocRetrieval (MLDR) 這樣的基準測試中，其性能可能會下降。

之前的模型 BGE-m3-ko 在訓練時的令牌長度為 1024，這限制了它在MLDR基準測試中的性能。

對於 snowflake-arctic-embed-l-v2.0-ko，如果文檔長度超過 1300 個令牌或約 2500 個字符，建議考慮以下模型：

訓練詳情

• 損失函數：CachedGISTEmbedLoss，使用以下參數：

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 20000
• per_device_eval_batch_size: 4096
• learning_rate: 2e-05
• num_train_epochs: 2
• lr_scheduler_type: warmup_stable_decay
• lr_scheduler_kwargs: {'num_decay_steps': 160}
• warmup_ratio: 0.05
• bf16: True
• batch_sampler: no_duplicates

所有超參數

框架版本

• Python: 3.10.12
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.4.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

🔧 技術細節

• 模型基於 Snowflake/snowflake-arctic-embed-l-v2.0 微調，在聚類數據集上訓練。
• 使用 CachedGISTEmbedLoss 損失函數進行訓練。
• 訓練時使用了特定的超參數，如 eval_strategy、per_device_train_batch_size 等。
• 模型架構包括 Transformer、Pooling 和 Normalize 層。
• 支持韓語和英語，在韓語檢索任務中表現出色。
• 在多個檢索基準測試中達到了最先進（SOTA）的性能。

📄 許可證

Arctic採用 Apache 2.0 許可證。發佈的模型可以免費用於商業目的。

📚 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084"
}

KURE

@misc{KURE,
  publisher = {Youngjoon Jang, Junyoung Son, Taemin Lee},
  year = {2024},
  url = {https://github.com/nlpai-lab/KURE}
}

Arctic-Embed 2.0

@article{yu2024arcticembed,
  title = "Arctic-Embed 2.0: Multilingual Retrieval Without Compromise",
  author = "Puxuan Yu, Luke Merrick, Gaurav Nuti, Daniel Campos",
  journal = "arXiv preprint arXiv:2412.04506",
  year = "2024",
  url = "https://arxiv.org/abs/2412.04506"
}

Embedding And Clustering Your Data Can Improve Contrastive Pretraining

@article{merrick2024embedding,
  title = "Embedding And Clustering Your Data Can Improve Contrastive Pretraining",
  author = "Luke Merrick",
  journal = "arXiv preprint arXiv:2407.18887",
  year = "2024",
  url = "https://arxiv.org/abs/2407.18887"
}

Contextual Document Embeddings

@article{morris2024contextual,
  title = "Contextual Document Embeddings",
  author = "John X. Morris, Alexander M. Rush",
  journal = "arXiv preprint arXiv:2410.02525",
  year = "2024",
  url = "https://arxiv.org/abs/2410.02525"
}