Multilingual E5 Small Ko

🚀 基于intfloat/multilingual-e5-small的句子转换器

这是一个基于 sentence-transformers 的模型，它在包含韩语查询-段落对的数据集上，对 intfloat/multilingual-e5-small 进行了微调，以提高其在韩语检索任务中的性能。该模型能够将句子和段落映射到一个384维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

此模型是一个轻量级的韩语检索器，设计初衷是便于使用，并在实际检索任务中表现出色。它非常适合运行演示或轻量级应用程序，在速度和准确性之间取得了良好的平衡。

为了获得更高的检索性能，我们建议将其与重排器结合使用。推荐的重排器模型如下：

• dragonkue/bge-reranker-v2-m3-ko
• BAAI/bge-reranker-v2-m3

🚀 快速开始

本模型是一个强大的工具，可用于多种自然语言处理任务，尤其是韩语检索任务。下面将详细介绍如何使用该模型。

✨ 主要特性

• 微调优化：在包含韩语查询-段落对的数据集上对 intfloat/multilingual-e5-small 进行微调，显著提升了韩语检索任务的性能。
• 轻量级设计：作为轻量级的韩语检索器，易于使用，在实际检索任务中表现出色，适合运行演示或轻量级应用程序。
• 多任务支持：能够将句子和段落映射到384维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种任务。
• 可扩展性：可与重排器结合使用，进一步提高检索性能。

📦 安装指南

首先，你需要安装 sentence-transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("dragonkue/multilingual-e5-small-ko")
# 运行推理
sentences = [
    'query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?',
    'passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.',
    'passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

高级用法

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]


# 每个输入文本都应以 "query: " 或 "passage: " 开头，即使是非英文文本也是如此。
# 对于检索以外的任务，你可以简单地使用 "query: " 前缀。
input_texts = ["query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?",
               "passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.",
               "passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)"]

tokenizer = AutoTokenizer.from_pretrained('dragonkue/multilingual-e5-small-ko')
model = AutoModel.from_pretrained('dragonkue/multilingual-e5-small-ko')

# 对输入文本进行分词
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 对嵌入向量进行归一化
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T)
print(scores.tolist())

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers Documentation
• 仓库：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

• 本次评估参考了KURE GitHub仓库。(https://github.com/nlpai-lab/KURE)
• 我们对 MTEB 中注册的所有韩语检索基准进行了评估。

韩语检索基准

• Ko-StrategyQA：一个韩语开放域问答多跳检索数据集，由StrategyQA翻译而来。
• AutoRAGRetrieval：一个韩语文档检索数据集，通过解析来自金融、公共、医疗、法律和商业五个领域的PDF构建而成。
• MIRACLRetrieval：一个基于维基百科的韩语文档检索数据集。
• PublicHealthQA：一个专注于韩语医疗和公共卫生领域的检索数据集。
• BelebeleRetrieval：一个基于FLORES-200的韩语文档检索数据集。
• MrTidyRetrieval：一个基于维基百科的韩语文档检索数据集。
• XPQARetrieval：一个跨领域韩语文档检索数据集。

评估指标

• 标准指标：NDCG@10

信息检索评估结果

按模型大小的性能比较（基于平均NDCG@10）

训练详情

训练数据集

该模型在与 dragonkue/snowflake-arctic-embed-l-v2.0-ko 相同的数据集上进行了微调，该数据集包含韩语查询-段落对。训练目标是提高韩语任务的检索性能。

训练方法

本模型遵循 dragonkue/snowflake-arctic-embed-l-v2.0-ko 的训练方法，基于聚类段落构建批次内负样本。此外，我们引入了具有可配置边界的GISTEmbedLoss。

📈 基于边界的训练结果

• 仅使用标准的MNR（多负排名）损失会导致性能下降。
• 原始的GISTEmbedLoss（无边界）在NDCG@10上有大约+0.8的适度提升。
• 应用边界后，NDCG@10的性能提升高达+1.5。
• 这表明，简单地调整边界值可以实现高达2倍的性能提升，显示了边界缩放的强敏感性和有效性。

这种基于边界的方法扩展了NV-Retriever论文中提出的思想，该论文最初在硬负样本采样期间过滤了假负样本。我们将其应用于批次内负样本，将假负样本视为由基于边界的过滤引导的动态样本。

sentence-transformers 库现在支持具有边界配置的GISTEmbedLoss，便于集成到任何训练管道中。你可以使用以下命令安装最新版本：

pip install -U sentence-transformers

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 20000
• per_device_eval_batch_size: 4096
• learning_rate: 0.00025
• num_train_epochs: 3
• warmup_ratio: 0.05
• fp16: True
• dataloader_drop_last: True
• batch_sampler: no_duplicates

所有超参数

框架版本

• Python: 3.11.10
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.5.1
• Tokenizers: 0.21.1

🔧 技术细节

本模型在训练过程中采用了基于聚类段落构建批次内负样本的方法，并引入了具有可配置边界的GISTEmbedLoss，以提高模型的性能。通过调整边界值，可以显著提升模型在韩语检索任务中的表现。

📄 许可证

本模型采用Apache-2.0许可证。

常见问题解答

⚠️ 重要提示

输入文本时，每个输入文本都应以 "query: " 或 "passage: " 开头，即使是非英文文本也是如此。对于检索以外的任务，可以简单地使用 "query: " 前缀。

💡 使用建议

为了获得更高的检索性能，建议将本模型与重排器结合使用。

1. 是否需要在输入文本前添加 "query: " 和 "passage: " 前缀？

是的，这是模型的训练方式，否则性能会下降。以下是一些使用建议：

• 对于开放域问答中的段落检索、即席信息检索等非对称任务，相应地使用 "query: " 和 "passage: "。
• 对于语义相似度、双语挖掘、释义检索等对称任务，使用 "query: " 前缀。
• 如果你想将嵌入向量用作特征，如线性探测分类、聚类等，使用 "query: " 前缀。

2. 为什么余弦相似度分数分布在0.7到1.0之间？

这是已知且预期的行为，因为我们在InfoNCE对比损失中使用了0.01的低温。对于文本检索或语义相似度等文本嵌入任务，重要的是分数的相对顺序，而不是绝对值，因此这不应成为问题。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

基础模型

@article{wang2024multilingual,
  title={Multilingual E5 Text Embeddings: A Technical Report},
  author={Wang, Liang and Yang, Nan and Huang, Xiaolong and Yang, Linjun and Majumder, Rangan and Wei, Furu},
  journal={arXiv preprint arXiv:2402.05672},
  year={2024}
}

NV-Retriever: Improving text embedding models with effective hard-negative mining

@article{moreira2024nvretriever,
  title     = {NV-Retriever: Improving text embedding models with effective hard-negative mining},
  author    = {Moreira, Gabriel de Souza P. and Osmulski, Radek and Xu, Mengyao and Ak, Ronay and Schifferer, Benedikt and Oldridge, Even},
  journal   = {arXiv preprint arXiv:2407.15831},
  year      = {2024},
  url       = {https://arxiv.org/abs/2407.15831},
  doi       = {10.48550/arXiv.2407.15831}
}

KURE

@misc{KURE,
  publisher = {Youngjoon Jang, Junyoung Son, Taemin Lee},
  year = {2024},
  url = {https://github.com/nlpai-lab/KURE}
}

局限性

长文本将被截断为最多512个标记。

致谢

特别感谢lemon-mint在优化和压缩本模型方面的宝贵贡献。