Dragonkue KoEn E5 Tiny ONNX

🚀 基于intfloat/multilingual-e5-small的句子转换器

这是一个基于 sentence-transformers 的模型，它在包含韩语查询 - 段落对的数据集上，对 intfloat/multilingual-e5-small 进行了微调，以提升在韩语检索任务中的性能。该模型能将句子和段落映射到一个384维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

这个模型是一个轻量级的韩语检索器，设计初衷是便于使用，并在实际检索任务中表现出色。它非常适合运行演示或轻量级应用程序，在速度和准确性之间取得了良好的平衡。

若要获得更高的检索性能，建议将其与重排器结合使用。推荐的重排器模型如下：

• dragonkue/bge-reranker-v2-m3-ko
• BAAI/bge-reranker-v2-m3

🚀 快速开始

本模型可用于多种自然语言处理任务，如语义文本相似度计算、语义搜索等。以下将详细介绍模型的使用方法。

✨ 主要特性

• 微调优化：在包含韩语查询 - 段落对的数据集上对 intfloat/multilingual-e5-small 进行微调，显著提升韩语检索任务的性能。
• 轻量级设计：作为轻量级的韩语检索器，在速度和准确性之间取得良好平衡，适合运行演示或轻量级应用程序。
• 多任务支持：能够将句子和段落映射到384维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种任务。
• 可扩展性：建议与重排器结合使用，如 dragonkue/bge-reranker-v2-m3-ko 和 BAAI/bge-reranker-v2-m3，以获得更高的检索性能。

📦 安装指南

若要使用本模型，需安装 sentence-transformers 库。可以使用以下命令进行安装：

pip install -U sentence-transformers

💻 使用示例

基础用法

以下是使用 sentence-transformers 库加载和运行模型的示例代码：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("dragonkue/multilingual-e5-small-ko")
# 运行推理
sentences = [
    'query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?',
    'passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.',
    'passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

高级用法

若要使用 transformers 库进行推理，可以参考以下示例代码：

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]


# 每个输入文本都应以 "query: " 或 "passage: " 开头，即使是非英文文本也是如此。
# 对于检索以外的任务，可以简单地使用 "query: " 前缀。
input_texts = ["query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?",
               "passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.",
               "passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)"]

tokenizer = AutoTokenizer.from_pretrained('dragonkue/multilingual-e5-small-ko')
model = AutoModel.from_pretrained('dragonkue/multilingual-e5-small-ko')

# 对输入文本进行分词
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 对嵌入向量进行归一化
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T)
print(scores.tolist())

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers Documentation
• 仓库：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

• 本次评估参考了KURE GitHub仓库（https://github.com/nlpai-lab/KURE）。
• 对 MTEB 中注册的所有韩语检索基准进行了评估。

韩语检索基准

• Ko-StrategyQA：一个韩语开放域问答多跳检索数据集，由StrategyQA翻译而来。
• AutoRAGRetrieval：一个韩语文档检索数据集，通过解析金融、公共、医疗、法律和商业五个领域的PDF文件构建而成。
• MIRACLRetrieval：一个基于维基百科的韩语文档检索数据集。
• PublicHealthQA：一个专注于韩语医疗和公共卫生领域的检索数据集。
• BelebeleRetrieval：一个基于FLORES-200的韩语文档检索数据集。
• MrTidyRetrieval：一个基于维基百科的韩语文档检索数据集。
• XPQARetrieval：一个跨领域的韩语文档检索数据集。

评估指标

• 标准指标：NDCG@10

信息检索结果

按模型大小的性能比较（基于平均NDCG@10）

训练详情

训练数据集

该模型在与 dragonkue/snowflake-arctic-embed-l-v2.0-ko 相同的数据集上进行了微调，该数据集由韩语查询 - 段落对组成，训练目标是专门提升韩语任务的检索性能。

训练方法

本模型采用了与 dragonkue/snowflake-arctic-embed-l-v2.0-ko 相同的训练方法，基于聚类段落构建批量内负样本。此外，引入了可配置边界的GISTEmbedLoss。

📈 基于边界的训练结果

• 仅使用标准的MNR（Multiple Negatives Ranking）损失会导致性能下降。
• 原始的GISTEmbedLoss（无边界）可带来约+0.8 NDCG@10的适度提升。
• 应用边界可使性能提升高达+1.5 NDCG@10。
• 这表明，简单调整边界值可实现高达2倍的性能提升，显示了边界缩放的高敏感性和有效性。

这种基于边界的方法扩展了NV-Retriever论文中提出的思想，该论文最初在困难负样本采样期间过滤了假负样本。我们将其应用于批量内负样本，将假负样本视为由基于边界的过滤引导的动态样本。

sentence-transformers 库现在支持带有边界配置的GISTEmbedLoss，便于集成到任何训练管道中。可以使用以下命令安装最新版本：

pip install -U sentence-transformers

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 20000
• per_device_eval_batch_size: 4096
• learning_rate: 0.00025
• num_train_epochs: 3
• warmup_ratio: 0.05
• fp16: True
• dataloader_drop_last: True
• batch_sampler: no_duplicates

所有超参数

框架版本

• Python: 3.11.10
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.5.1
• Tokenizers: 0.21.1

🔧 技术细节

微调策略

本模型在包含韩语查询 - 段落对的数据集上对 intfloat/multilingual-e5-small 进行微调，以提升韩语检索任务的性能。微调过程中，采用了基于聚类段落构建批量内负样本的方法，并引入了可配置边界的GISTEmbedLoss，有效提升了模型的性能。

损失函数

引入了可配置边界的GISTEmbedLoss，通过调整边界值，可实现高达+1.5 NDCG@10的性能提升。这种基于边界的方法扩展了NV-Retriever论文中提出的思想，将假负样本视为由基于边界的过滤引导的动态样本。

训练优化

sentence-transformers 库现在支持带有边界配置的GISTEmbedLoss，便于集成到任何训练管道中。通过安装最新版本的 sentence-transformers 库，可以轻松使用该损失函数进行训练。

📄 许可证

本模型采用Apache 2.0许可证。

FAQ

⚠️ 重要提示

输入文本需添加 "query: " 和 "passage: " 前缀，否则模型性能会下降。

💡 使用建议

• 对于开放式问答中的段落检索、即席信息检索等非对称任务，相应地使用 "query: " 和 "passage: " 前缀。
• 对于语义相似度计算、双语挖掘、释义检索等对称任务，使用 "query: " 前缀。
• 若要将嵌入向量用作特征，如线性探测分类、聚类等任务，使用 "query: " 前缀。

1. 是否需要在输入文本中添加 "query: " 和 "passage: " 前缀？ 是的，模型是按照这种方式进行训练的，否则会出现性能下降的情况。以下是一些使用建议：

• 对于开放式问答中的段落检索、即席信息检索等非对称任务，相应地使用 "query: " 和 "passage: " 前缀。
• 对于语义相似度计算、双语挖掘、释义检索等对称任务，使用 "query: " 前缀。
• 若要将嵌入向量用作特征，如线性探测分类、聚类等任务，使用 "query: " 前缀。

2. 为什么余弦相似度分数分布在0.7到1.0之间？ 这是已知且预期的行为，因为在InfoNCE对比损失中使用了较低的温度0.01。对于文本检索或语义相似度等文本嵌入任务，重要的是分数的相对顺序而非绝对值，因此这不应成为问题。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

基础模型

@article{wang2024multilingual,
  title={Multilingual E5 Text Embeddings: A Technical Report},
  author={Wang, Liang and Yang, Nan and Huang, Xiaolong and Yang, Linjun and Majumder, Rangan and Wei, Furu},
  journal={arXiv preprint arXiv:2402.05672},
  year={2024}
}

NV-Retriever: Improving text embedding models with effective hard-negative mining

@article{moreira2024nvretriever,
  title     = {NV-Retriever: Improving text embedding models with effective hard-negative mining},
  author    = {Moreira, Gabriel de Souza P. and Osmulski, Radek and Xu, Mengyao and Ak, Ronay and Schifferer, Benedikt and Oldridge, Even},
  journal   = {arXiv preprint arXiv:2407.15831},
  year      = {2024},
  url       = {https://arxiv.org/abs/2407.15831},
  doi       = {10.48550/arXiv.2407.15831}
}

局限性

长文本将被截断为最多512个标记。