Dragonkue KoEn E5 Tiny

🚀 基於intfloat/multilingual-e5-small的句子轉換器

這是一個基於 sentence-transformers 的模型，它在包含韓語查詢-段落對的數據集上對 intfloat/multilingual-e5-small 進行了微調，以提高韓語檢索任務的性能。該模型將句子和段落映射到一個384維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

此模型是一個輕量級的韓語檢索器，設計初衷是便於使用，並在實際檢索任務中表現出色。它非常適合運行演示或輕量級應用程序，在速度和準確性之間取得了良好的平衡。

為了獲得更高的檢索性能，我們建議將其與重排器結合使用。推薦的重排器模型如下：

• dragonkue/bge-reranker-v2-m3-ko
• BAAI/bge-reranker-v2-m3

🚀 快速開始

本模型可用於多種自然語言處理任務，如語義文本相似度計算、語義搜索等。以下將詳細介紹使用方法。

✨ 主要特性

• 輕量級設計：適合運行演示或輕量級應用程序，在速度和準確性之間取得良好平衡。
• 微調優化：在包含韓語查詢-段落對的數據集上進行微調，提高韓語檢索任務的性能。
• 多任務支持：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

使用 sentence-transformers 庫直接調用模型進行推理：

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("dragonkue/multilingual-e5-small-ko")
# 運行推理
sentences = [
    'query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?',
    'passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.',
    'passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

高級用法

使用 transformers 庫直接調用模型進行推理：

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]


# 每個輸入文本都應以 "query: " 或 "passage: " 開頭，即使是非英文文本也是如此。
# 對於檢索以外的任務，你可以簡單地使用 "query: " 前綴。
input_texts = ["query: 북한가족법 몇 차 개정에서 이혼판결 확정 후 3개월 내에 등록시에만 유효하다는 조항을 확실히 했을까?",
               "passage: 1990년에 제정된 북한 가족법은 지금까지 4차례 개정되어 현재에 이르고 있다. 1993년에 이루어진 제1차 개정은 주로 규정의 정확성을 기하기 위하여 몇몇 조문을 수정한 것이며, 실체적인 내용을 보완한 것은 상속의 승인과 포기기간을 설정한 제52조 정도라고 할 수 있다. 2004년에 이루어진 제2차에 개정에서는 제20조제3항을 신설하여 재판상 확정된 이혼판결을 3개월 내에 등록해야 이혼의 효력이 발생한다는 것을 명확하게 하였다. 2007년에 이루어진 제3차 개정에서는 부모와 자녀 관계 또한 신분등록기관에 등록한 때부터 법적 효력이 발생한다는 것을 신설(제25조제2항)하였다. 또한 미성년자, 노동능력 없는 자의 부양과 관련(제37조제2항)하여 기존에는 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀, 조부모나 손자녀, 형제자매가 부양한다”고 규정하고 있었던 것을 “부양능력이 있는 가정성원이 없을 경우에는 따로 사는 부모나 자녀가 부양하며 그들이 없을 경우에는 조부모나 손자녀, 형제자매가 부양한다”로 개정하였다.",
               "passage: 환경마크 제도, 인증기준 변경으로 기업부담 줄인다\n환경마크 제도 소개\n□ 개요\n○ 동일 용도의 다른 제품에 비해 ‘제품의 환경성*’을 개선한 제품에 로고와 설명을 표시할 수 있도록하는 인증 제도\n※ 제품의 환경성 : 재료와 제품을 제조․소비 폐기하는 전과정에서 오염물질이나 온실가스 등을 배출하는 정도 및 자원과 에너지를 소비하는 정도 등 환경에 미치는 영향력의 정도(「환경기술 및 환경산업 지원법」제2조제5호)\n□ 법적근거\n○ 「환경기술 및 환경산업 지원법」제17조(환경표지의 인증)\n□ 관련 국제표준\n○ ISO 14024(제1유형 환경라벨링)\n□ 적용대상\n○ 사무기기, 가전제품, 생활용품, 건축자재 등 156개 대상제품군\n□ 인증현황\n○ 2,737개 기업의 16,647개 제품(2015.12월말 기준)"]

tokenizer = AutoTokenizer.from_pretrained('dragonkue/multilingual-e5-small-ko')
model = AutoModel.from_pretrained('dragonkue/multilingual-e5-small-ko')

# 對輸入文本進行分詞
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 對嵌入向量進行歸一化
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T)
print(scores.tolist())

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers Documentation
• 倉庫：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

• 本次評估參考了 KURE GitHub 倉庫（https://github.com/nlpai-lab/KURE）。
• 我們對 MTEB 中註冊的所有韓語檢索基準進行了評估。

韓語檢索基準

• Ko-StrategyQA：一個韓語開放域問答多跳檢索數據集，由 StrategyQA 翻譯而來。
• AutoRAGRetrieval：一個韓語文檔檢索數據集，通過解析金融、公共、醫療、法律和商業五個領域的 PDF 文件構建而成。
• MIRACLRetrieval：一個基於維基百科的韓語文檔檢索數據集。
• PublicHealthQA：一個專注於韓語醫療和公共衛生領域的檢索數據集。
• BelebeleRetrieval：一個基於 FLORES-200 的韓語文檔檢索數據集。
• MrTidyRetrieval：一個基於維基百科的韓語文檔檢索數據集。
• XPQARetrieval：一個跨領域韓語文檔檢索數據集。

評估指標

• 標準指標：NDCG@10

信息檢索評估結果

按模型大小的性能比較（基於平均 NDCG@10）

訓練詳情

訓練數據集

該模型在與 dragonkue/snowflake-arctic-embed-l-v2.0-ko 相同的數據集上進行微調，該數據集由韓語查詢-段落對組成，訓練目標是提高韓語任務的檢索性能。

訓練方法

本模型遵循 dragonkue/snowflake-arctic-embed-l-v2.0-ko 的訓練方法，基於聚類段落構建批量內負樣本。此外，我們引入了可配置邊界的 GISTEmbedLoss。

📈 基於邊界的訓練結果

• 僅使用標準的 MNR（Multiple Negatives Ranking）損失會導致性能下降。
• 原始的 GISTEmbedLoss（無邊界）在 NDCG@10 上有大約 +0.8 的適度提升。
• 應用邊界後，NDCG@10 最多可提升 +1.5。
• 這表明，簡單地調整邊界值最多可實現 2 倍的性能提升，顯示出邊界縮放的強敏感性和有效性。

這種基於邊界的方法擴展了 NV-Retriever 論文中提出的思想，該論文最初在困難負樣本採樣期間過濾了假負樣本。我們將其應用於批量內負樣本，將假負樣本視為由基於邊界的過濾引導的動態樣本。

現在，sentence-transformers 庫支持配置邊界的 GISTEmbedLoss，便於集成到任何訓練管道中。你可以使用以下命令安裝最新版本：

pip install -U sentence-transformers

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 20000
• per_device_eval_batch_size: 4096
• learning_rate: 0.00025
• num_train_epochs: 3
• warmup_ratio: 0.05
• fp16: True
• dataloader_drop_last: True
• batch_sampler: no_duplicates

所有超參數

框架版本

• Python: 3.11.10
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.5.1
• Tokenizers: 0.21.1

🔧 技術細節

本模型在訓練過程中採用了基於聚類段落構建批量內負樣本的方法，並引入了可配置邊界的 GISTEmbedLoss，通過調整邊界值可以顯著提升模型性能。具體訓練結果表明，基於邊界的訓練方法具有強敏感性和有效性。

📄 許可證

本模型採用 Apache-2.0 許可證。

FAQ

1. 是否需要在輸入文本前添加 "query: " 和 "passage: " 前綴？

是的，模型是按照這種方式進行訓練的，否則會導致性能下降。以下是一些使用建議：

• 對於非對稱任務，如開放問答中的段落檢索、臨時信息檢索，應相應地使用 "query: " 和 "passage: "。
• 對於對稱任務，如語義相似度計算、雙語挖掘、釋義檢索，使用 "query: " 前綴。
• 如果你想將嵌入向量用作特徵，如線性探測分類、聚類，也使用 "query: " 前綴。

2. 為什麼餘弦相似度分數分佈在 0.7 到 1.0 之間？

這是已知且預期的行為，因為我們在 InfoNCE 對比損失中使用了 0.01 的低溫。對於文本檢索或語義相似度等文本嵌入任務，重要的是分數的相對順序而非絕對值，因此這不應成為問題。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

基礎模型

@article{wang2024multilingual,
  title={Multilingual E5 Text Embeddings: A Technical Report},
  author={Wang, Liang and Yang, Nan and Huang, Xiaolong and Yang, Linjun and Majumder, Rangan and Wei, Furu},
  journal={arXiv preprint arXiv:2402.05672},
  year={2024}
}

NV-Retriever: Improving text embedding models with effective hard-negative mining

@article{moreira2024nvretriever,
  title     = {NV-Retriever: Improving text embedding models with effective hard-negative mining},
  author    = {Moreira, Gabriel de Souza P. and Osmulski, Radek and Xu, Mengyao and Ak, Ronay and Schifferer, Benedikt and Oldridge, Even},
  journal   = {arXiv preprint arXiv:2407.15831},
  year      = {2024},
  url       = {https://arxiv.org/abs/2407.15831},
  doi       = {10.48550/arXiv.2407.15831}
}

侷限性

長文本將被截斷為最多 512 個標記。