Multilingual E5 Small Ko V2

🚀 基于 intfloat/multilingual-e5-small 的句子转换器

这是一个基于 sentence-transformers 的模型，它在包含韩语查询 - 段落对的数据集上对 intfloat/multilingual-e5-small 进行了微调，以提高其在韩语检索任务中的性能。该模型可以将句子和段落映射到一个 384 维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

这个模型是一个轻量级的韩语检索器，设计初衷是便于使用，并在实际检索任务中表现出色。它非常适合运行演示或轻量级应用程序，在速度和准确性之间取得了很好的平衡。

与参数数量多两倍以上的 'intfloat/multilingual-e5-base' 大模型相比，这个小尺寸模型在韩语基准测试中表现出了 卓越的性能。这意味着你可以在使用一半计算资源的情况下，获得优于基础模型的性能。

为了获得更高的检索性能，我们建议将其与重排器结合使用。推荐的重排器模型如下：

• dragonkue/bge-reranker-v2-m3-ko
• BAAI/bge-reranker-v2-m3

🚀 快速开始

本模型可用于韩语检索任务等多种场景，下面将详细介绍其使用方法和相关信息。

✨ 主要特性

• 轻量级设计：适合运行演示或轻量级应用程序，在速度和准确性之间取得良好平衡。
• 性能卓越：在韩语基准测试中，小尺寸模型比大尺寸的 'intfloat/multilingual-e5-base' 模型表现更优。
• 可扩展性：可与重排器结合使用，进一步提高检索性能。

📦 安装指南

首先，你需要安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("dragonkue/multilingual-e5-small-ko-v2")
# 运行推理
sentences = [
    'query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?',
    'passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.',
    'passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

高级用法

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]


# 每个输入文本都应以 "query: " 或 "passage: " 开头，即使是非英文文本也是如此。
# 对于检索以外的任务，你可以简单地使用 "query: " 前缀。
input_texts = ["query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?",
               "passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.",
               "passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)"]

tokenizer = AutoTokenizer.from_pretrained('dragonkue/multilingual-e5-small-ko-v2')
model = AutoModel.from_pretrained('dragonkue/multilingual-e5-small-ko-v2')

# 对输入文本进行分词
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 对嵌入向量进行归一化
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T)
print(scores.tolist())

📚 详细文档

模型详情

模型融合

本模型使用 模型融合（Model Soup） 技术，通过加权平均合并以下两个模型创建而成：

• dragonkue/multilingual-e5-small-ko（韩语专用，权重 60%）
• intfloat/multilingual-e5-small（基础多语言模型，权重 40%）

通过实验评估，确定 6:4 的权重比为最优。

相关资源

• 实现代码：FlagEmbedding/LM_Cocktail
• 研究论文：LM-Cocktail: Resilient Tuning of Language Models via Model Merging
• 技术博客：JinaAI's "Model Soups: Recipe for Embeddings"

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

🔧 技术细节

评估

• 本次评估参考了 KURE GitHub 仓库。(https://github.com/nlpai-lab/KURE)
• 我们对 MTEB 中注册的所有 韩语检索基准测试 进行了评估。

韩语检索基准测试

• Ko-StrategyQA：一个韩语 开放域问答多跳检索数据集，由 StrategyQA 翻译而来。
• AutoRAGRetrieval：一个通过解析五个领域（金融、公共、医疗、法律和商业）的 PDF 文件构建的 韩语文档检索数据集。
• MIRACLRetrieval：一个基于维基百科的 韩语文档检索数据集。
• PublicHealthQA：一个专注于 医疗和公共卫生领域 的韩语 检索数据集。
• BelebeleRetrieval：一个基于 FLORES - 200 的 韩语文档检索数据集。
• MrTidyRetrieval：一个基于维基百科的 韩语文档检索数据集。
• XPQARetrieval：一个 跨领域韩语文档检索数据集。

评估指标

• 标准指标：NDCG@10

信息检索

按模型大小的性能比较（基于平均 NDCG@10）

训练详情

训练数据集

本模型在与 dragonkue/snowflake - arctic - embed - l - v2.0 - ko 相同的数据集上进行了微调，该数据集由韩语查询 - 段落对组成。训练目标是提高其在韩语任务中的检索性能。

训练方法

遵循 dragonkue/snowflake - arctic - embed - l - v2.0 - ko 的训练方法，本模型基于聚类段落构建批内负样本。此外，我们引入了可配置边界的 GISTEmbedLoss。

📈 基于边界的训练结果

• 仅使用标准的 MNR（多负排名）损失会导致性能下降。
• 原始的 GISTEmbedLoss（无边界）在 NDCG@10 上有大约 +0.8 的适度提升。
• 应用边界后，NDCG@10 最多可提升 +1.5。
• 这表明，简单地调整边界值最多可实现 2 倍的性能提升，显示了边界缩放的高敏感性和有效性。

这种基于边界的方法扩展了 NV - Retriever 论文中提出的思想，该论文最初在难负样本采样期间过滤了假负样本。我们将其应用于批内负样本，将假负样本视为由基于边界的过滤引导的动态样本。

现在，Sentence Transformers 库支持配置边界的 GISTEmbedLoss，便于集成到任何训练管道中。你可以使用以下命令安装最新版本：

pip install -U sentence-transformers

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 20000
• per_device_eval_batch_size: 4096
• learning_rate: 0.00025
• num_train_epochs: 3
• warmup_ratio: 0.05
• fp16: True
• dataloader_drop_last: True
• batch_sampler: no_duplicates

所有超参数

框架版本

• Python: 3.11.10
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.5.1
• Tokenizers: 0.21.1

📄 许可证

本模型采用 Apache - 2.0 许可证。

FAQ

⚠️ 重要提示

输入文本时，需要添加 "query: " 和 "passage: " 前缀，否则模型性能会下降。

💡 使用建议

• 对于开放问答中的段落检索、即席信息检索等非对称任务，相应地使用 "query: " 和 "passage: "。
• 对于语义相似度、双语挖掘、释义检索等对称任务，使用 "query: " 前缀。
• 如果你想将嵌入向量用作特征，如线性探测分类、聚类，使用 "query: " 前缀。

1. 是否需要在输入文本中添加 "query: " 和 "passage: " 前缀？ 是的，模型是按照这种方式进行训练的，否则性能会下降。以下是一些使用规则：

• 对于开放问答中的段落检索、即席信息检索等非对称任务，相应地使用 "query: " 和 "passage: "。
• 对于语义相似度、双语挖掘、释义检索等对称任务，使用 "query: " 前缀。
• 如果你想将嵌入向量用作特征，如线性探测分类、聚类，使用 "query: " 前缀。

2. 为什么余弦相似度分数分布在 0.7 到 1.0 之间？ 这是已知且预期的行为，因为我们在 InfoNCE 对比损失中使用了 0.01 的低温。对于文本检索或语义相似度等文本嵌入任务，重要的是分数的相对顺序，而不是绝对值，因此这不应成为问题。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

基础模型

@article{wang2024multilingual,
  title={Multilingual E5 Text Embeddings: A Technical Report},
  author={Wang, Liang and Yang, Nan and Huang, Xiaolong and Yang, Linjun and Majumder, Rangan and Wei, Furu},
  journal={arXiv preprint arXiv:2402.05672},
  year={2024}
}

NV - Retriever: Improving text embedding models with effective hard - negative mining

@article{moreira2024nvretriever,
  title     = {NV-Retriever: Improving text embedding models with effective hard-negative mining},
  author    = {Moreira, Gabriel de Souza P. and Osmulski, Radek and Xu, Mengyao and Ak, Ronay and Schifferer, Benedikt and Oldridge, Even},
  journal   = {arXiv preprint arXiv:2407.15831},
  year      = {2024},
  url       = {https://arxiv.org/abs/2407.15831},
  doi       = {10.48550/arXiv.2407.15831}
}

LM - Cocktail: Resilient Tuning of Language Models via Model Merging

@article{xiao2023lmcocktail,
  title     = {LM-Cocktail: Resilient Tuning of Language Models via Mode