Modernbert Embed Base Ft Sts Spanish Matryoshka 768 64
這是一個基於modernbert-embed-base模型微調的句子轉換器,用於生成句子嵌入向量並計算語義相似度。
下載量 443
發布時間 : 1/10/2025
模型概述
該模型能將句子和段落映射到768維密集向量空間,可用於語義文本相似度、語義搜索、複述挖掘、文本分類、聚類等任務。
模型特點
高維語義表示
能將文本映射到768維向量空間,捕捉深層語義特徵
多維度相似度計算
支持不同維度(768/512/256/128/64)的語義相似度計算
長文本處理
最大序列長度達8192個標記,適合處理長文本
高效微調
在私有STS數據集上微調,提升語義相似度任務表現
模型能力
語義文本相似度計算
語義搜索
複述挖掘
文本分類
文本聚類
使用案例
信息檢索
相似文檔檢索
通過計算文檔向量相似度,實現相關文檔檢索
內容推薦
相關內容推薦
基於語義相似度為用戶推薦相關內容
問答系統
相似問題匹配
在問答系統中匹配語義相似的問題
🚀 基於nomic-ai/modernbert-embed-base的句子轉換器
這是一個基於 sentence-transformers 的模型,它在 stsb_multi_es_augmented(私有)數據集上對 nomic-ai/modernbert-embed-base 進行了微調。該模型可將句子和段落映射到一個768維的密集向量空間,可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。
🚀 快速開始
首先安裝 Sentence Transformers 庫:
pip install -U sentence-transformers
然後你可以加載這個模型並進行推理:
from sentence_transformers import SentenceTransformer
# 從 🤗 Hub 下載
model = SentenceTransformer("mrm8488/modernbert-embed-base-ft-sts-spanish-matryoshka-768-64-5e")
# 進行推理
sentences = [
'El cordero está mirando hacia la cámara.',
'Un gato está mirando hacia la cámara también.',
'"Sí, no deseo estar presente durante este testimonio", declaró tranquilamente Peterson, de 31 años, al juez cuando fue devuelto a su celda.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
✨ 主要特性
- 基於
nomic-ai/modernbert-embed-base
微調,適用於語義文本相似度等多種任務。 - 支持最大8192個標記的序列長度。
- 輸出768維的向量,使用餘弦相似度計算。
📦 安裝指南
pip install -U sentence-transformers
💻 使用示例
基礎用法
from sentence_transformers import SentenceTransformer
# 從 🤗 Hub 下載
model = SentenceTransformer("mrm8488/modernbert-embed-base-ft-sts-spanish-matryoshka-768-64-5e")
# 進行推理
sentences = [
'El cordero está mirando hacia la cámara.',
'Un gato está mirando hacia la cámara también.',
'"Sí, no deseo estar presente durante este testimonio", declaró tranquilamente Peterson, de 31 años, al juez cuando fue devuelto a su celda.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 詳細文檔
模型詳情
模型描述
屬性 | 詳情 |
---|---|
模型類型 | 句子轉換器 |
基礎模型 | nomic-ai/modernbert-embed-base |
最大序列長度 | 8192個標記 |
輸出維度 | 768維 |
相似度函數 | 餘弦相似度 |
訓練數據集 | 私有 stsb 數據集 |
模型來源
- 文檔:Sentence Transformers 文檔
- 倉庫:GitHub 上的 Sentence Transformers
- Hugging Face:Hugging Face 上的 Sentence Transformers
完整模型架構
SentenceTransformer(
(0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
評估
指標
指標 | sts-dev-768 | sts-dev-512 | sts-dev-256 | sts-dev-128 | sts-dev-64 | sts-test-768 | sts-test-512 | sts-test-256 | sts-test-128 | sts-test-64 |
---|---|---|---|---|---|---|---|---|---|---|
pearson_cosine | 0.7499 | 0.7468 | 0.7419 | 0.7263 | 0.6973 | 0.8673 | 0.8665 | 0.8568 | 0.8485 | 0.8194 |
spearman_cosine | 0.7532 | 0.7482 | 0.7451 | 0.7304 | 0.707 | 0.8767 | 0.8752 | 0.8702 | 0.8617 | 0.842 |
訓練詳情
訓練數據集
- stsb_multi_es_augmented(私有)
- 大小:2697個訓練樣本
- 列:
sentence1
、sentence2
和score
- 基於前1000個樣本的近似統計信息:
| | sentence1 | sentence2 | score |
|------|------|------|------|
| 類型 | 字符串 | 字符串 | 浮點數 |
| 詳情 |
- 最小:9個標記
- 平均:28.42個標記
- 最大:96個標記
- 最小:10個標記
- 平均:28.01個標記
- 最大:92個標記
- 最小:0.0
- 平均:2.72
- 最大:5.0
- 樣本:
| sentence1 | sentence2 | score |
|------|------|------|
|
El pájaro de tamaño reducido se posó con delicadeza en una rama cubierta de escarcha.
|Un ave de color amarillo descansaba tranquilamente en una rama.
|3.200000047683716
| |Una chica está tocando la flauta en un parque.
|Un grupo de músicos está tocando en un escenario al aire libre.
|1.286
| |La aclamada escritora británica, Doris Lessing, galardonada con el premio Nobel, fallece
|La destacada autora británica, Doris Lessing, reconocida con el prestigioso Premio Nobel, muere
|4.199999809265137
| - 損失函數:
MatryoshkaLoss
,參數如下:
{
"loss": "CoSENTLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
評估數據集
- stsb_multi_es_augmented(私有)
- 大小:697個評估樣本
- 列:
sentence1
、sentence2
和score
- 基於前697個樣本的近似統計信息:
| | sentence1 | sentence2 | score |
|------|------|------|------|
| 類型 | 字符串 | 字符串 | 浮點數 |
| 詳情 |
- 最小:9個標記
- 平均:29.35個標記
- 最大:87個標記
- 最小:9個標記
- 平均:28.52個標記
- 最大:81個標記
- 最小:0.0
- 平均:2.3
- 最大:5.0
- 樣本:
| sentence1 | sentence2 | score |
|------|------|------|
|
Un incendio ocurrido en un hospital psiquiátrico ruso resultó en la trágica muerte de 38 personas.
|Se teme que el incendio en un hospital psiquiátrico ruso cause la pérdida de la vida de 38 individuos.
|4.199999809265137
| |"Street dijo que el otro individuo a veces se siente avergonzado de su fiesta, lo cual provoca risas en la multitud"
|"A veces, el otro tipo se encuentra avergonzado de su fiesta y no se le puede culpar."
|3.5
| |El veterano diplomático de Malasia tuvo un encuentro con Suu Kyi el miércoles en la casa del lago en Yangon donde permanece bajo arresto domiciliario.
|Razali Ismail tuvo una reunión de 90 minutos con Suu Kyi, quien ganó el Premio Nobel de la Paz en 1991, en su casa del lago donde está recluida.
|3.691999912261963
| - 損失函數:
MatryoshkaLoss
,參數如下:
{
"loss": "CoSENTLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
訓練超參數
非默認超參數
eval_strategy
:stepsper_device_train_batch_size
:16per_device_eval_batch_size
:16num_train_epochs
:5warmup_ratio
:0.1bf16
:True
所有超參數
點擊展開
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: stepsprediction_loss_only
: Trueper_device_train_batch_size
: 16per_device_eval_batch_size
: 16per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 5e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 5max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.1warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Truefp16
: Falsefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Falseignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Nonehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseinclude_for_metrics
: []eval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falseaverage_tokens_across_devices
: Falseprompts
: Nonebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: proportional
訓練日誌
輪次 | 步數 | 訓練損失 | 驗證損失 | sts-dev-768_spearman_cosine | sts-dev-512_spearman_cosine | sts-dev-256_spearman_cosine | sts-dev-128_spearman_cosine | sts-dev-64_spearman_cosine | sts-test-768_spearman_cosine | sts-test-512_spearman_cosine | sts-test-256_spearman_cosine | sts-test-128_spearman_cosine | sts-test-64_spearman_cosine |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0.5917 | 100 | 23.7709 | 22.5494 | 0.7185 | 0.7146 | 0.7055 | 0.6794 | 0.6570 | - | - | - | - | - |
1.1834 | 200 | 22.137 | 22.7634 | 0.7449 | 0.7412 | 0.7439 | 0.7287 | 0.7027 | - | - | - | - | - |
1.7751 | 300 | 21.5527 | 22.6985 | 0.7321 | 0.7281 | 0.7243 | 0.7063 | 0.6862 | - | - | - | - | - |
2.3669 | 400 | 20.5745 | 24.0021 | 0.7302 | 0.7264 | 0.7221 | 0.7097 | 0.6897 | - | - | - | - | - |
2.9586 | 500 | 20.0861 | 24.0091 | 0.7392 | 0.7361 | 0.7293 | 0.7124 | 0.6906 | - | - | - | - | - |
3.5503 | 600 | 18.8191 | 26.9012 | 0.7502 | 0.7462 | 0.7399 | 0.7207 | 0.6960 | - | - | - | - | - |
4.1420 | 700 | 18.3 | 29.0209 | 0.7496 | 0.7454 | 0.7432 | 0.7284 | 0.7065 | - | - | - | - | - |
4.7337 | 800 | 17.6496 | 28.9536 | 0.7532 | 0.7482 | 0.7451 | 0.7304 | 0.7070 | - | - | - | - | - |
5.0 | 845 | - | - | - | - | - | - | - | 0.8767 | 0.8752 | 0.8702 | 0.8617 | 0.8420 |
框架版本
- Python:3.10.12
- Sentence Transformers:3.3.1
- Transformers:4.48.0
- PyTorch:2.5.1+cu121
- Accelerate:1.2.1
- Datasets:3.2.0
- Tokenizers:0.21.0
📄 許可證
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
CoSENTLoss
@online{kexuefm-8847,
title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
author={Su Jianlin},
year={2022},
month={Jan},
url={https://kexue.fm/archives/8847},
}
Jina Embeddings V3
Jina Embeddings V3 是一個多語言句子嵌入模型,支持超過100種語言,專注於句子相似度和特徵提取任務。
文本嵌入
Transformers 支持多種語言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基於MS Marco段落排序任務訓練的交叉編碼器模型,用於信息檢索中的查詢-段落相關性評分
文本嵌入 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基於蒸餾技術的稀疏檢索模型,專為OpenSearch優化,支持免推理文檔編碼,在搜索相關性和效率上優於V1版本
文本嵌入
Transformers 英語

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基於PubMedBERT的生物醫學實體表徵模型,通過自對齊預訓練優化語義關係捕捉
文本嵌入 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一個強大的句子轉換器模型,專注於句子相似度和文本嵌入任務,在多個基準測試中表現出色。
文本嵌入 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一個英文句子轉換器模型,專注於句子相似度任務,在多個文本嵌入基準測試中表現優異。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一個多語言的句子嵌入模型,支持超過50種語言,適用於句子相似度計算等任務。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一個化學語言模型,旨在實現完全由機器驅動的超快聚合物信息學。它將PSMILES字符串映射為600維密集指紋,以數值形式表示聚合物化學結構。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基於土耳其語BERT的句子嵌入模型,專為語義相似度任務優化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基於BAAI/bge-small-en-v1.5模型微調的文本嵌入模型,通過MEDI數據集與MTEB分類任務數據集訓練,優化了檢索任務的查詢編碼能力。
文本嵌入
Safetensors 英語
G
avsolatorio
945.68k
29
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98