Intfloat Triplet V2

🚀 基於intfloat/multilingual - e5 - small的句子轉換器

本項目是一個基於 sentence - transformers 的模型，它在 [all - nli - tr](https://huggingface.co/datasets/emrecan/all - nli - tr) 數據集上對 [intfloat/multilingual - e5 - small](https://huggingface.co/intfloat/multilingual - e5 - small) 進行了微調。該模型可將句子和段落映射到384維的密集向量空間，適用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先，安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後，你可以加載此模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("x1saint/intfloat-triplet-v2")
# 運行推理
sentences = [
    'Ve gerçekten, baba haklıydı, oğlu zaten her şeyi tecrübe etmişti, her şeyi denedi ve daha az ilgileniyordu.',
    'Oğlu her şeye olan ilgisini kaybediyordu.',
    'Baba oğlunun tecrübe için hala çok şey olduğunu biliyordu.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

該模型具有以下特性：

• 多語言支持：能夠處理多種語言的句子和段落。
• 高維向量映射：將文本映射到384維的密集向量空間，便於進行語義分析。
• 多種應用場景：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等。

📦 安裝指南

要使用此模型，你需要安裝 Sentence Transformers 庫。可以使用以下命令進行安裝：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("x1saint/intfloat-triplet-v2")
# 運行推理
sentences = [
    'Ve gerçekten, baba haklıydı, oğlu zaten her şeyi tecrübe etmişti, her şeyi denedi ve daha az ilgileniyordu.',
    'Oğlu her şeye olan ilgisini kaybediyordu.',
    'Baba oğlunun tecrübe için hala çok şey olduğunu biliyordu.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：[GitHub 上的 Sentence Transformers](https://github.com/UKPLab/sentence - transformers)
• Hugging Face：[Hugging Face 上的 Sentence Transformers](https://huggingface.co/models?library = sentence - transformers)

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

三元組

• 數據集：all - nli - dev
• 使用 TripletEvaluator 進行評估

訓練詳情

訓練數據集

all - nli - tr

• 數據集：[all - nli - tr](https://huggingface.co/datasets/emrecan/all - nli - tr)，版本 [daeabfb](https://huggingface.co/datasets/emrecan/all - nli - tr/tree/daeabfbc01f82757ab998bd23ce0ddfceaa5e24d)
• 大小：482,091 個訓練樣本
• 列：anchor、positive 和 negative
• 基於前1000個樣本的近似統計信息： | | anchor | positive | negative | |------|------|------|------| | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小：5個標記
  • 平均：28.16個標記
  • 最大：151個標記
  |
  • 最小：5個標記
  • 平均：15.14個標記
  • 最大：49個標記
  |
  • 最小：4個標記
  • 平均：14.33個標記
  • 最大：55個標記
  |
• 樣本： | anchor | positive | negative | |------|------|------| | Mevsim boyunca ve sanırım senin seviyendeyken onları bir sonraki seviyeye düşürürsün. Eğer ebeveyn takımını çağırmaya karar verirlerse Braves üçlü A'dan birini çağırmaya karar verirlerse çifte bir adam onun yerine geçmeye gider ve bekar bir adam gelir. | Eğer insanlar hatırlarsa, bir sonraki seviyeye düşersin. | Hiçbir şeyi hatırlamazlar. | | Numaramızdan biri talimatlarınızı birazdan yerine getirecektir. | Ekibimin bir üyesi emirlerinizi büyük bir hassasiyetle yerine getirecektir. | Şu anda boş kimsek yok, bu yüzden sen de harekete geçmelisin. | | Bunu nereden biliyorsun? Bütün bunlar yine onların bilgileri. | Bu bilgi onlara ait. | Hiçbir bilgileri yok. |
• 損失函數：MultipleNegativesRankingLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

評估數據集

all - nli - tr

• 數據集：[all - nli - tr](https://huggingface.co/datasets/emrecan/all - nli - tr)，版本 [daeabfb](https://huggingface.co/datasets/emrecan/all - nli - tr/tree/daeabfbc01f82757ab998bd23ce0ddfceaa5e24d)
• 大小：6,567 個評估樣本
• 列：anchor、positive 和 negative
• 基於前1000個樣本的近似統計信息： | | anchor | positive | negative | |------|------|------|------| | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小：3個標記
  • 平均：26.66個標記
  • 最大：121個標記
  |
  • 最小：5個標記
  • 平均：14.98個標記
  • 最大：49個標記
  |
  • 最小：4個標記
  • 平均：14.4個標記
  • 最大：37個標記
  |
• 樣本： | anchor | positive | negative | |------|------|------| | Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum. | Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum. | O benim favorim ve kimsenin onu yendiğini görmek istemiyorum. | | Sen ve arkadaşların burada hoş karşılanmaz, Severn söyledi. | Severn orada insanların hoş karşılanmadığını söyledi. | Severn orada insanların her zaman hoş karşılanacağını söyledi. | | Gecenin en aşağısı ne olduğundan emin değilim. | Dün gece ne kadar soğuk oldu bilmiyorum. | Dün gece hava 37 dereceydi. |
• 損失函數：MultipleNegativesRankingLoss，參數如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

訓練超參數

非默認超參數

• eval_strategy：按步驟評估
• per_device_train_batch_size：256
• per_device_eval_batch_size：256
• gradient_accumulation_steps：4
• num_train_epochs：10
• warmup_ratio：0.1
• bf16：True
• dataloader_num_workers：4

所有超參數

訓練日誌

框架版本

• Python：3.11.11
• Sentence Transformers：3.4.1
• Transformers：4.48.3
• PyTorch：2.5.1 + cu124
• Accelerate：1.3.0
• Datasets：3.3.0
• Tokenizers：0.21.0

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}