E5 All Nli Triplet Matryoshka

🚀 基于intfloat/multilingual-e5-small的句子转换器

这是一个基于 sentence-transformers 的模型，它在 Omartificial-Intelligence-Space/arabic-n_li-triplet 数据集上对 intfloat/multilingual-e5-small 进行了微调。该模型可以将句子和段落映射到一个 384 维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后你可以加载这个模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# 运行推理
sentences = [
    'يجلس شاب ذو شعر أشقر على الحائط يقرأ جريدة بينما تمر امرأة وفتاة شابة.',
    'ذكر شاب ينظر إلى جريدة بينما تمر إمرأتان بجانبه',
    'الشاب نائم بينما الأم تقود ابنتها إلى الحديقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 该模型基于 intfloat/multilingual-e5-small 微调而来，能够将句子和段落映射到 384 维的密集向量空间。
• 可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等多种任务。

📦 安装指南

安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# 运行推理
sentences = [
    'يجلس شاب ذو شعر أشقر على الحائط يقرأ جريدة بينما تمر امرأة وفتاة شابة.',
    'ذكر شاب ينظر إلى جريدة بينما تمر إمرأتان بجانبه',
    'الشاب نائم بينما الأم تقود ابنتها إلى الحديقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

语义相似度

• 数据集：sts-test-384 使用 EmbeddingSimilarityEvaluator 进行评估。

• 数据集：sts-test-256 使用 EmbeddingSimilarityEvaluator 进行评估。

• 数据集：sts-test-128 使用 EmbeddingSimilarityEvaluator 进行评估。

• 数据集：sts-test-64 使用 EmbeddingSimilarityEvaluator 进行评估。

训练详情

训练数据集

Omartificial-Intelligence-Space/arabic-n_li-triplet

• 数据集：Omartificial-Intelligence-Space/arabic-n_li-triplet
• 大小：557,850 个训练样本
• 列：anchor、positive 和 negative
• 基于前 1000 个样本的近似统计信息： | | anchor | positive | negative | |------|------|------|------| | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小值：5 个标记
  • 平均值：10.33 个标记
  • 最大值：52 个标记
  |
  • 最小值：5 个标记
  • 平均值：13.21 个标记
  • 最大值：49 个标记
  |
  • 最小值：5 个标记
  • 平均值：15.32 个标记
  • 最大值：53 个标记
  |
• 样本： | anchor | positive | negative | |------|------|------| | شخص على حصان يقفز فوق طائرة معطلة | شخص في الهواء الطلق، على حصان. | شخص في مطعم، يطلب عجة. | | أطفال يبتسمون و يلوحون للكاميرا | هناك أطفال حاضرون | الاطفال يتجهمون | | صبي يقفز على لوح التزلج في منتصف الجسر الأحمر. | الفتى يقوم بخدعة التزلج | الصبي يتزلج على الرصيف |
• 损失：使用 MatryoshkaLoss，参数如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        384,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

评估数据集

Omartificial-Intelligence-Space/arabic-n_li-triplet

• 数据集：Omartificial-Intelligence-Space/arabic-n_li-triplet
• 大小：6,584 个评估样本
• 列：anchor、positive 和 negative
• 基于前 1000 个样本的近似统计信息： | | anchor | positive | negative | |------|------|------|------| | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小值：5 个标记
  • 平均值：21.86 个标记
  • 最大值：105 个标记
  |
  • 最小值：4 个标记
  • 平均值：10.22 个标记
  • 最大值：49 个标记
  |
  • 最小值：4 个标记
  • 平均值：11.2 个标记
  • 最大值：33 个标记
  |
• 样本： | anchor | positive | negative | |------|------|------| | امرأتان يتعانقان بينما يحملان حزمة | إمرأتان يحملان حزمة | الرجال يتشاجرون خارج مطعم | | طفلين صغيرين يرتديان قميصاً أزرق، أحدهما يرتدي الرقم 9 والآخر يرتدي الرقم 2 يقفان على خطوات خشبية في الحمام ويغسلان أيديهما في المغسلة. | طفلين يرتديان قميصاً مرقماً يغسلون أيديهم | طفلين يرتديان سترة يذهبان إلى المدرسة | | رجل يبيع الدونات لعميل خلال معرض عالمي أقيم في مدينة أنجليس | رجل يبيع الدونات لعميل | امرأة تشرب قهوتها في مقهى صغير |
• 损失：使用 MatryoshkaLoss，参数如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        384,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

训练超参数

非默认超参数

• per_device_train_batch_size：32
• per_device_eval_batch_size：32
• warmup_ratio：0.1
• fp16：True
• batch_sampler：no_duplicates

所有超参数

训练日志

框架版本

• Python：3.9.18
• Sentence Transformers：3.0.1
• Transformers：4.40.0
• PyTorch：2.2.2+cu121
• Accelerate：0.26.1
• Datasets：2.19.0
• Tokenizers：0.19.1

📄 许可证

文档中未提及相关许可证信息。

🔧 技术细节

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}