E5 All Nli Triplet Matryoshka

🚀 基於intfloat/multilingual-e5-small的句子轉換器

這是一個基於 sentence-transformers 的模型，它在 Omartificial-Intelligence-Space/arabic-n_li-triplet 數據集上對 intfloat/multilingual-e5-small 進行了微調。該模型可以將句子和段落映射到一個 384 維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後你可以加載這個模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# 運行推理
sentences = [
    'يجلس شاب ذو شعر أشقر على الحائط يقرأ جريدة بينما تمر امرأة وفتاة شابة.',
    'ذكر شاب ينظر إلى جريدة بينما تمر إمرأتان بجانبه',
    'الشاب نائم بينما الأم تقود ابنتها إلى الحديقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 該模型基於 intfloat/multilingual-e5-small 微調而來，能夠將句子和段落映射到 384 維的密集向量空間。
• 可用於語義文本相似度、語義搜索、釋義挖掘、文本分類、聚類等多種任務。

📦 安裝指南

安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# 運行推理
sentences = [
    'يجلس شاب ذو شعر أشقر على الحائط يقرأ جريدة بينما تمر امرأة وفتاة شابة.',
    'ذكر شاب ينظر إلى جريدة بينما تمر إمرأتان بجانبه',
    'الشاب نائم بينما الأم تقود ابنتها إلى الحديقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

語義相似度

• 數據集：sts-test-384 使用 EmbeddingSimilarityEvaluator 進行評估。

• 數據集：sts-test-256 使用 EmbeddingSimilarityEvaluator 進行評估。

• 數據集：sts-test-128 使用 EmbeddingSimilarityEvaluator 進行評估。

• 數據集：sts-test-64 使用 EmbeddingSimilarityEvaluator 進行評估。

訓練詳情

訓練數據集

Omartificial-Intelligence-Space/arabic-n_li-triplet

• 數據集：Omartificial-Intelligence-Space/arabic-n_li-triplet
• 大小：557,850 個訓練樣本
• 列：anchor、positive 和 negative
• 基於前 1000 個樣本的近似統計信息： | | anchor | positive | negative | |------|------|------|------| | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小值：5 個標記
  • 平均值：10.33 個標記
  • 最大值：52 個標記
  |
  • 最小值：5 個標記
  • 平均值：13.21 個標記
  • 最大值：49 個標記
  |
  • 最小值：5 個標記
  • 平均值：15.32 個標記
  • 最大值：53 個標記
  |
• 樣本： | anchor | positive | negative | |------|------|------| | شخص على حصان يقفز فوق طائرة معطلة | شخص في الهواء الطلق، على حصان. | شخص في مطعم، يطلب عجة. | | أطفال يبتسمون و يلوحون للكاميرا | هناك أطفال حاضرون | الاطفال يتجهمون | | صبي يقفز على لوح التزلج في منتصف الجسر الأحمر. | الفتى يقوم بخدعة التزلج | الصبي يتزلج على الرصيف |
• 損失：使用 MatryoshkaLoss，參數如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        384,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

評估數據集

Omartificial-Intelligence-Space/arabic-n_li-triplet

• 數據集：Omartificial-Intelligence-Space/arabic-n_li-triplet
• 大小：6,584 個評估樣本
• 列：anchor、positive 和 negative
• 基於前 1000 個樣本的近似統計信息： | | anchor | positive | negative | |------|------|------|------| | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小值：5 個標記
  • 平均值：21.86 個標記
  • 最大值：105 個標記
  |
  • 最小值：4 個標記
  • 平均值：10.22 個標記
  • 最大值：49 個標記
  |
  • 最小值：4 個標記
  • 平均值：11.2 個標記
  • 最大值：33 個標記
  |
• 樣本： | anchor | positive | negative | |------|------|------| | امرأتان يتعانقان بينما يحملان حزمة | إمرأتان يحملان حزمة | الرجال يتشاجرون خارج مطعم | | طفلين صغيرين يرتديان قميصاً أزرق، أحدهما يرتدي الرقم 9 والآخر يرتدي الرقم 2 يقفان على خطوات خشبية في الحمام ويغسلان أيديهما في المغسلة. | طفلين يرتديان قميصاً مرقماً يغسلون أيديهم | طفلين يرتديان سترة يذهبان إلى المدرسة | | رجل يبيع الدونات لعميل خلال معرض عالمي أقيم في مدينة أنجليس | رجل يبيع الدونات لعميل | امرأة تشرب قهوتها في مقهى صغير |
• 損失：使用 MatryoshkaLoss，參數如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        384,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

訓練超參數

非默認超參數

• per_device_train_batch_size：32
• per_device_eval_batch_size：32
• warmup_ratio：0.1
• fp16：True
• batch_sampler：no_duplicates

所有超參數

訓練日誌

框架版本

• Python：3.9.18
• Sentence Transformers：3.0.1
• Transformers：4.40.0
• PyTorch：2.2.2+cu121
• Accelerate：0.26.1
• Datasets：2.19.0
• Tokenizers：0.19.1

📄 許可證

文檔中未提及相關許可證信息。

🔧 技術細節

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}