Intfloat Triplet V2

🚀 基于intfloat/multilingual - e5 - small的句子转换器

本项目是一个基于 sentence - transformers 的模型，它在 [all - nli - tr](https://huggingface.co/datasets/emrecan/all - nli - tr) 数据集上对 [intfloat/multilingual - e5 - small](https://huggingface.co/intfloat/multilingual - e5 - small) 进行了微调。该模型可将句子和段落映射到384维的密集向量空间，适用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

直接使用（Sentence Transformers）

首先，安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后，你可以加载此模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("x1saint/intfloat-triplet-v2")
# 运行推理
sentences = [
    'Ve gerçekten, baba haklıydı, oğlu zaten her şeyi tecrübe etmişti, her şeyi denedi ve daha az ilgileniyordu.',
    'Oğlu her şeye olan ilgisini kaybediyordu.',
    'Baba oğlunun tecrübe için hala çok şey olduğunu biliyordu.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

该模型具有以下特性：

• 多语言支持：能够处理多种语言的句子和段落。
• 高维向量映射：将文本映射到384维的密集向量空间，便于进行语义分析。
• 多种应用场景：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等。

📦 安装指南

要使用此模型，你需要安装 Sentence Transformers 库。可以使用以下命令进行安装：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("x1saint/intfloat-triplet-v2")
# 运行推理
sentences = [
    'Ve gerçekten, baba haklıydı, oğlu zaten her şeyi tecrübe etmişti, her şeyi denedi ve daha az ilgileniyordu.',
    'Oğlu her şeye olan ilgisini kaybediyordu.',
    'Baba oğlunun tecrübe için hala çok şey olduğunu biliyordu.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：[GitHub 上的 Sentence Transformers](https://github.com/UKPLab/sentence - transformers)
• Hugging Face：[Hugging Face 上的 Sentence Transformers](https://huggingface.co/models?library = sentence - transformers)

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

指标

三元组

• 数据集：all - nli - dev
• 使用 TripletEvaluator 进行评估

训练详情

训练数据集

all - nli - tr

• 数据集：[all - nli - tr](https://huggingface.co/datasets/emrecan/all - nli - tr)，版本 [daeabfb](https://huggingface.co/datasets/emrecan/all - nli - tr/tree/daeabfbc01f82757ab998bd23ce0ddfceaa5e24d)
• 大小：482,091 个训练样本
• 列：anchor、positive 和 negative
• 基于前1000个样本的近似统计信息： | | anchor | positive | negative | |------|------|------|------| | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小：5个标记
  • 平均：28.16个标记
  • 最大：151个标记
  |
  • 最小：5个标记
  • 平均：15.14个标记
  • 最大：49个标记
  |
  • 最小：4个标记
  • 平均：14.33个标记
  • 最大：55个标记
  |
• 样本： | anchor | positive | negative | |------|------|------| | Mevsim boyunca ve sanırım senin seviyendeyken onları bir sonraki seviyeye düşürürsün. Eğer ebeveyn takımını çağırmaya karar verirlerse Braves üçlü A'dan birini çağırmaya karar verirlerse çifte bir adam onun yerine geçmeye gider ve bekar bir adam gelir. | Eğer insanlar hatırlarsa, bir sonraki seviyeye düşersin. | Hiçbir şeyi hatırlamazlar. | | Numaramızdan biri talimatlarınızı birazdan yerine getirecektir. | Ekibimin bir üyesi emirlerinizi büyük bir hassasiyetle yerine getirecektir. | Şu anda boş kimsek yok, bu yüzden sen de harekete geçmelisin. | | Bunu nereden biliyorsun? Bütün bunlar yine onların bilgileri. | Bu bilgi onlara ait. | Hiçbir bilgileri yok. |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

评估数据集

all - nli - tr

• 数据集：[all - nli - tr](https://huggingface.co/datasets/emrecan/all - nli - tr)，版本 [daeabfb](https://huggingface.co/datasets/emrecan/all - nli - tr/tree/daeabfbc01f82757ab998bd23ce0ddfceaa5e24d)
• 大小：6,567 个评估样本
• 列：anchor、positive 和 negative
• 基于前1000个样本的近似统计信息： | | anchor | positive | negative | |------|------|------|------| | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小：3个标记
  • 平均：26.66个标记
  • 最大：121个标记
  |
  • 最小：5个标记
  • 平均：14.98个标记
  • 最大：49个标记
  |
  • 最小：4个标记
  • 平均：14.4个标记
  • 最大：37个标记
  |
• 样本： | anchor | positive | negative | |------|------|------| | Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum. | Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum. | O benim favorim ve kimsenin onu yendiğini görmek istemiyorum. | | Sen ve arkadaşların burada hoş karşılanmaz, Severn söyledi. | Severn orada insanların hoş karşılanmadığını söyledi. | Severn orada insanların her zaman hoş karşılanacağını söyledi. | | Gecenin en aşağısı ne olduğundan emin değilim. | Dün gece ne kadar soğuk oldu bilmiyorum. | Dün gece hava 37 dereceydi. |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

训练超参数

非默认超参数

• eval_strategy：按步骤评估
• per_device_train_batch_size：256
• per_device_eval_batch_size：256
• gradient_accumulation_steps：4
• num_train_epochs：10
• warmup_ratio：0.1
• bf16：True
• dataloader_num_workers：4

所有超参数

训练日志

框架版本

• Python：3.11.11
• Sentence Transformers：3.4.1
• Transformers：4.48.3
• PyTorch：2.5.1 + cu124
• Accelerate：1.3.0
• Datasets：3.3.0
• Tokenizers：0.21.0

📄 许可证

文档中未提及相关许可证信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}