E5 All Nli Triplet Matryoshka
这是一个基于intfloat/multilingual-e5-small微调的sentence-transformers模型,用于将句子和段落映射到384维密集向量空间,支持语义文本相似度、语义搜索等任务。
下载量 14
发布时间 : 7/15/2024
模型简介
该模型专门用于处理句子和段落的语义表示,能够生成高质量的嵌入向量,适用于多种自然语言处理任务。
模型特点
多语言支持
基于multilingual-e5-small模型,支持多种语言的文本处理
高效语义表示
将文本转换为384维密集向量,捕捉深层语义信息
MatryoshkaLoss训练
使用MatryoshkaLoss和MultipleNegativesRankingLoss进行训练,优化不同维度下的表示能力
高性能
在多个评估数据集上表现出色,斯皮尔曼余弦相似度最高达0.7972
模型能力
计算句子相似度
语义搜索
文本特征提取
文本分类
文本聚类
复述挖掘
使用案例
信息检索
文档检索
根据查询语义快速检索相关文档
在MTEB MIRACLRetrievalHardNegatives (ar)数据集上得分为33.441
问答系统
匹配用户问题与知识库中的答案
在MTEB MLQARetrieval (ara-ara)数据集上得分为64.488
文本分析
语义相似度计算
比较两个句子或段落的语义相似程度
在sts-test-384数据集上斯皮尔曼余弦相似度为0.7972
文本聚类
将语义相似的文本自动分组
🚀 基于intfloat/multilingual-e5-small的句子转换器
这是一个基于 sentence-transformers 的模型,它在 Omartificial-Intelligence-Space/arabic-n_li-triplet 数据集上对 intfloat/multilingual-e5-small 进行了微调。该模型可以将句子和段落映射到一个 384 维的密集向量空间,可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。
🚀 快速开始
首先安装 Sentence Transformers 库:
pip install -U sentence-transformers
然后你可以加载这个模型并进行推理:
from sentence_transformers import SentenceTransformer
# 从 🤗 Hub 下载
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# 运行推理
sentences = [
'يجلس شاب ذو شعر أشقر على الحائط يقرأ جريدة بينما تمر امرأة وفتاة شابة.',
'ذكر شاب ينظر إلى جريدة بينما تمر إمرأتان بجانبه',
'الشاب نائم بينما الأم تقود ابنتها إلى الحديقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]
# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
✨ 主要特性
- 该模型基于
intfloat/multilingual-e5-small
微调而来,能够将句子和段落映射到 384 维的密集向量空间。 - 可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等多种任务。
📦 安装指南
安装 Sentence Transformers 库:
pip install -U sentence-transformers
💻 使用示例
基础用法
from sentence_transformers import SentenceTransformer
# 从 🤗 Hub 下载
model = SentenceTransformer("Omartificial-Intelligence-Space/E5-Matro")
# 运行推理
sentences = [
'يجلس شاب ذو شعر أشقر على الحائط يقرأ جريدة بينما تمر امرأة وفتاة شابة.',
'ذكر شاب ينظر إلى جريدة بينما تمر إمرأتان بجانبه',
'الشاب نائم بينما الأم تقود ابنتها إلى الحديقة',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]
# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 详细文档
模型详情
属性 | 详情 |
---|---|
模型类型 | 句子转换器 |
基础模型 | intfloat/multilingual-e5-small |
最大序列长度 | 512 个标记 |
输出维度 | 384 个标记 |
相似度函数 | 余弦相似度 |
训练数据集 | Omartificial-Intelligence-Space/arabic-n_li-triplet |
模型来源
- 文档:Sentence Transformers 文档
- 仓库:GitHub 上的 Sentence Transformers
- Hugging Face:Hugging Face 上的 Sentence Transformers
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
评估
语义相似度
- 数据集:
sts-test-384
使用EmbeddingSimilarityEvaluator
进行评估。
指标 | 值 |
---|---|
pearson_cosine | 0.7883 |
spearman_cosine | 0.7972 |
pearson_manhattan | 0.7846 |
spearman_manhattan | 0.794 |
pearson_euclidean | 0.7883 |
spearman_euclidean | 0.7972 |
pearson_dot | 0.7883 |
spearman_dot | 0.7972 |
pearson_max | 0.7883 |
spearman_max | 0.7972 |
- 数据集:
sts-test-256
使用EmbeddingSimilarityEvaluator
进行评估。
指标 | 值 |
---|---|
pearson_cosine | 0.7852 |
spearman_cosine | 0.7968 |
pearson_manhattan | 0.7853 |
spearman_manhattan | 0.7936 |
pearson_euclidean | 0.7882 |
spearman_euclidean | 0.7963 |
pearson_dot | 0.7786 |
spearman_dot | 0.7868 |
pearson_max | 0.7882 |
spearman_max | 0.7968 |
- 数据集:
sts-test-128
使用EmbeddingSimilarityEvaluator
进行评估。
指标 | 值 |
---|---|
pearson_cosine | 0.7755 |
spearman_cosine | 0.7933 |
pearson_manhattan | 0.7833 |
spearman_manhattan | 0.7908 |
pearson_euclidean | 0.7868 |
spearman_euclidean | 0.7936 |
pearson_dot | 0.7317 |
spearman_dot | 0.7336 |
pearson_max | 0.7868 |
spearman_max | 0.7936 |
- 数据集:
sts-test-64
使用EmbeddingSimilarityEvaluator
进行评估。
指标 | 值 |
---|---|
pearson_cosine | 0.7625 |
spearman_cosine | 0.7837 |
pearson_manhattan | 0.7753 |
spearman_manhattan | 0.7791 |
pearson_euclidean | 0.778 |
spearman_euclidean | 0.7816 |
pearson_dot | 0.6685 |
spearman_dot | 0.6621 |
pearson_max | 0.778 |
spearman_max | 0.7837 |
训练详情
训练数据集
Omartificial-Intelligence-Space/arabic-n_li-triplet
- 数据集:Omartificial-Intelligence-Space/arabic-n_li-triplet
- 大小:557,850 个训练样本
- 列:
anchor
、positive
和negative
- 基于前 1000 个样本的近似统计信息:
| | anchor | positive | negative |
|------|------|------|------|
| 类型 | 字符串 | 字符串 | 字符串 |
| 详情 |
- 最小值:5 个标记
- 平均值:10.33 个标记
- 最大值:52 个标记
- 最小值:5 个标记
- 平均值:13.21 个标记
- 最大值:49 个标记
- 最小值:5 个标记
- 平均值:15.32 个标记
- 最大值:53 个标记
- 样本:
| anchor | positive | negative |
|------|------|------|
|
شخص على حصان يقفز فوق طائرة معطلة
|شخص في الهواء الطلق، على حصان.
|شخص في مطعم، يطلب عجة.
| |أطفال يبتسمون و يلوحون للكاميرا
|هناك أطفال حاضرون
|الاطفال يتجهمون
| |صبي يقفز على لوح التزلج في منتصف الجسر الأحمر.
|الفتى يقوم بخدعة التزلج
|الصبي يتزلج على الرصيف
| - 损失:使用
MatryoshkaLoss
,参数如下:
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
384,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1
],
"n_dims_per_step": -1
}
评估数据集
Omartificial-Intelligence-Space/arabic-n_li-triplet
- 数据集:Omartificial-Intelligence-Space/arabic-n_li-triplet
- 大小:6,584 个评估样本
- 列:
anchor
、positive
和negative
- 基于前 1000 个样本的近似统计信息:
| | anchor | positive | negative |
|------|------|------|------|
| 类型 | 字符串 | 字符串 | 字符串 |
| 详情 |
- 最小值:5 个标记
- 平均值:21.86 个标记
- 最大值:105 个标记
- 最小值:4 个标记
- 平均值:10.22 个标记
- 最大值:49 个标记
- 最小值:4 个标记
- 平均值:11.2 个标记
- 最大值:33 个标记
- 样本:
| anchor | positive | negative |
|------|------|------|
|
امرأتان يتعانقان بينما يحملان حزمة
|إمرأتان يحملان حزمة
|الرجال يتشاجرون خارج مطعم
| |طفلين صغيرين يرتديان قميصاً أزرق، أحدهما يرتدي الرقم 9 والآخر يرتدي الرقم 2 يقفان على خطوات خشبية في الحمام ويغسلان أيديهما في المغسلة.
|طفلين يرتديان قميصاً مرقماً يغسلون أيديهم
|طفلين يرتديان سترة يذهبان إلى المدرسة
| |رجل يبيع الدونات لعميل خلال معرض عالمي أقيم في مدينة أنجليس
|رجل يبيع الدونات لعميل
|امرأة تشرب قهوتها في مقهى صغير
| - 损失:使用
MatryoshkaLoss
,参数如下:
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
384,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1
],
"n_dims_per_step": -1
}
训练超参数
非默认超参数
per_device_train_batch_size
:32per_device_eval_batch_size
:32warmup_ratio
:0.1fp16
:Truebatch_sampler
:no_duplicates
所有超参数
点击展开
overwrite_output_dir
:Falsedo_predict
:Falseprediction_loss_only
:Trueper_device_train_batch_size
:32per_device_eval_batch_size
:32per_gpu_train_batch_size
:Noneper_gpu_eval_batch_size
:Nonegradient_accumulation_steps
:1eval_accumulation_steps
:Nonelearning_rate
:5e-05weight_decay
:0.0adam_beta1
:0.9adam_beta2
:0.999adam_epsilon
:1e-08max_grad_norm
:1.0num_train_epochs
:3max_steps
:-1lr_scheduler_type
:linearlr_scheduler_kwargs
:{}warmup_ratio
:0.1warmup_steps
:0log_level
:passivelog_level_replica
:warninglog_on_each_node
:Truelogging_nan_inf_filter
:Truesave_safetensors
:Truesave_on_each_node
:Falsesave_only_model
:Falseno_cuda
:Falseuse_cpu
:Falseuse_mps_device
:Falseseed
:42data_seed
:Nonejit_mode_eval
:Falseuse_ipex
:Falsebf16
:Falsefp16
:Truefp16_opt_level
:O1half_precision_backend
:autobf16_full_eval
:Falsefp16_full_eval
:Falsetf32
:Nonelocal_rank
:0ddp_backend
:Nonetpu_num_cores
:Nonetpu_metrics_debug
:Falsedebug
:[]dataloader_drop_last
:Falsedataloader_num_workers
:0dataloader_prefetch_factor
:Nonepast_index
:-1disable_tqdm
:Falseremove_unused_columns
:Truelabel_names
:Noneload_best_model_at_end
:Falseignore_data_skip
:Falsefsdp
:[]fsdp_min_num_params
:0fsdp_config
:{'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
:Noneaccelerator_config
:{'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'gradient_accumulation_kwargs': None}deepspeed
:Nonelabel_smoothing_factor
:0.0optim
:adamw_torchoptim_args
:Noneadafactor
:Falsegroup_by_length
:Falselength_column_name
:lengthddp_find_unused_parameters
:Noneddp_bucket_cap_mb
:Noneddp_broadcast_buffers
:Falsedataloader_pin_memory
:Truedataloader_persistent_workers
:Falseskip_memory_metrics
:Trueuse_legacy_prediction_loop
:Falsepush_to_hub
:Falseresume_from_checkpoint
:Nonehub_model_id
:Nonehub_strategy
:every_savehub_private_repo
:Falsehub_always_push
:Falsegradient_checkpointing
:Falsegradient_checkpointing_kwargs
:Noneinclude_inputs_for_metrics
:Falseeval_do_concat_batches
:Truefp16_backend
:autopush_to_hub_model_id
:Nonepush_to_hub_organization
:Nonemp_parameters
:auto_find_batch_size
:Falsefull_determinism
:Falsetorchdynamo
:Noneray_scope
:lastddp_timeout
:1800torch_compile
:Falsetorch_compile_backend
:Nonetorch_compile_mode
:Nonedispatch_batches
:Nonesplit_batches
:Noneinclude_tokens_per_second
:Falseinclude_num_input_tokens_seen
:Falseneftune_noise_alpha
:Noneoptim_target_modules
:Nonebatch_sampler
:no_duplicatesmulti_dataset_batch_sampler
:proportional
训练日志
轮次 | 步数 | 训练损失 | sts-test-128_spearman_cosine | sts-test-256_spearman_cosine | sts-test-384_spearman_cosine | sts-test-64_spearman_cosine |
---|---|---|---|---|---|---|
0.0344 | 200 | 13.1208 | - | - | - | - |
0.0688 | 400 | 9.1894 | - | - | - | - |
0.1033 | 600 | 8.0222 | - | - | - | - |
0.1377 | 800 | 7.2405 | - | - | - | - |
0.1721 | 1000 | 7.1622 | - | - | - | - |
0.2065 | 1200 | 6.4282 | - | - | - | - |
0.2409 | 1400 | 6.0936 | - | - | - | - |
0.2753 | 1600 | 5.99 | - | - | - | - |
0.3098 | 1800 | 5.6939 | - | - | - | - |
0.3442 | 2000 | 5.694 | - | - | - | - |
0.3786 | 2200 | 5.2366 | - | - | - | - |
0.4130 | 2400 | 5.2994 | - | - | - | - |
0.4474 | 2600 | 5.2079 | - | - | - | - |
0.4818 | 2800 | 5.0532 | - | - | - | - |
0.5163 | 3000 | 4.9978 | - | - | - | - |
0.5507 | 3200 | 5.1764 | - | - | - | - |
0.5851 | 3400 | 5.1315 | - | - | - | - |
0.6195 | 3600 | 5.0198 | - | - | - | - |
0.6539 | 3800 | 5.0308 | - | - | - | - |
0.6883 | 4000 | 5.1631 | - | - | - | - |
0.7228 | 4200 | 4.7916 | - | - | - | - |
0.7572 | 4400 | 4.363 | - | - | - | - |
0.7916 | 4600 | 3.2357 | - | - | - | - |
0.8260 | 4800 | 2.9915 | - | - | - | - |
0.8604 | 5000 | 2.8143 | - | - | - | - |
0.8949 | 5200 | 2.6125 | - | - | - | - |
0.9293 | 5400 | 2.5493 | - | - | - | - |
0.9637 | 5600 | 2.4991 | - | - | - | - |
0.9981 | 5800 | 2.163 | - | - | - | - |
1.0325 | 6000 | 0.0 | - | - | - | - |
1.0669 | 6200 | 0.0 | - | - | - | - |
1.1014 | 6400 | 0.0 | - | - | - | - |
1.1358 | 6600 | 0.0 | - | - | - | - |
1.1702 | 6800 | 0.0 | - | - | - | - |
1.2046 | 7000 | 0.0 | - | - | - | - |
1.2390 | 7200 | 0.0 | - | - | - | - |
1.2734 | 7400 | 0.0 | - | - | - | - |
1.3079 | 7600 | 0.0 | - | - | - | - |
1.3423 | 7800 | 0.0 | - | - | - | - |
1.3767 | 8000 | 0.0 | - | - | - | - |
1.4111 | 8200 | 0.0037 | - | - | - | - |
1.4455 | 8400 | 0.0372 | - | - | - | - |
1.4800 | 8600 | 0.0221 | - | - | - | - |
1.0229 | 8800 | 4.3738 | - | - | - | - |
1.0573 | 9000 | 6.338 | - | - | - | - |
1.0917 | 9200 | 6.2223 | - | - | - | - |
1.1261 | 9400 | 5.8673 | - | - | - | - |
1.1606 | 9600 | 5.5907 | - | - | - | - |
1.1950 | 9800 | 5.0307 | - | - | - | - |
1.2294 | 10000 | 4.9193 | - | - | - | - |
1.2638 | 10200 | 4.8798 | - | - | - | - |
1.2982 | 10400 | 4.401 | - | - | - | - |
1.3326 | 10600 | 4.2705 | - | - | - | - |
1.3671 | 10800 | 4.3023 | - | - | - | - |
1.4015 | 11000 | 4.1344 | - | - | - | - |
1.4359 | 11200 | 4.0464 | - | - | - | - |
1.4703 | 11400 | 4.0115 | - | - | - | - |
1.5047 | 11600 | 3.9206 | - | - | - | - |
1.5391 | 11800 | 4.0106 | - | - | - | - |
1.5736 | 12000 | 4.1365 | - | - | - | - |
1.6080 | 12200 | 4.0401 | - | - | - | - |
1.6424 | 12400 | 4.0602 | - | - | - | - |
1.6768 | 12600 | 4.076 | - | - | - | - |
1.7112 | 12800 | 3.97 | - | - | - | - |
1.7457 | 13000 | 3.7905 | - | - | - | - |
1.7801 | 13200 | 2.414 | - | - | - | - |
1.8145 | 13400 | 2.1811 | - | - | - | - |
1.8489 | 13600 | 2.1183 | - | - | - | - |
1.8833 | 13800 | 2.0578 | - | - | - | - |
1.9177 | 14000 | 2.0173 | - | - | - | - |
1.9522 | 14200 | 2.0093 | - | - | - | - |
1.9866 | 14400 | 1.9467 | - | - | - | - |
2.0210 | 14600 | 0.4674 | - | - | - | - |
2.0554 | 14800 | 0.0 | - | - | - | - |
2.0898 | 15000 | 0.0 | - | - | - | - |
2.1242 | 15200 | 0.0 | - | - | - | - |
2.1587 | 15400 | 0.0 | - | - | - | - |
2.1931 | 15600 | 0.0 | - | - | - | - |
2.2275 | 15800 | 0.0 | - | - | - | - |
2.2619 | 16000 | 0.0 | - | - | - | - |
2.2963 | 16200 | 0.0 | - | - | - | - |
2.3308 | 16400 | 0.0 | - | - | - | - |
2.3652 | 16600 | 0.0 | - | - | - | - |
2.3996 | 16800 | 0.0 | - | - | - | - |
2.4340 | 17000 | 0.0 | - | - | - | - |
2.4684 | 17200 | 0.0256 | - | - | - | - |
2.0114 | 17400 | 2.4155 | - | - | - | - |
2.0170 | 17433 | - | 0.7933 | 0.7968 | 0.7972 | 0.7837 |
框架版本
- Python:3.9.18
- Sentence Transformers:3.0.1
- Transformers:4.40.0
- PyTorch:2.2.2+cu121
- Accelerate:0.26.1
- Datasets:2.19.0
- Tokenizers:0.19.1
📄 许可证
文档中未提及相关许可证信息。
🔧 技术细节
引用
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98