Scitopicnomicembed
基于nomic-ai/nomic-embed-text-v1.5微调的句子转换器模型,专为科学文献主题相似性任务优化
下载量 114
发布时间 : 2/2/2025
模型简介
该模型将句子和段落映射到768维密集向量空间,适用于语义文本相似性、语义搜索、释义挖掘等任务,特别针对科学文献主题分析进行了优化。
模型特点
长文本处理能力
支持最大8192个标记的序列长度,适合处理科学文献中的长段落
科学主题优化
在SciTopicTriplets数据集上微调,特别擅长科学文献的主题相似性分析
多层次嵌入
采用MatryoshkaLoss训练,可生成768/384/256/128/64维的多层次嵌入
模型能力
语义文本相似性计算
科学文献主题匹配
语义搜索
文本聚类
特征提取
使用案例
学术研究
文献推荐系统
基于内容相似性为研究人员推荐相关文献
在SciGen评估集上达到0.5664的归一化折损累积增益
研究主题分析
识别和聚类科学文献中的相关主题
信息检索
科学文献检索
改进科学数据库中的语义搜索功能
在准确率@10指标上达到0.9893
🚀 nomic-ai/nomic-embed-text-v1.5
这是一个基于 sentence-transformers 的模型,它在 sci_topic_triplets 数据集上对 nomic-ai/nomic-embed-text-v1.5 进行了微调。该模型可以将句子和段落映射到一个 768 维的密集向量空间,可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。
🚀 快速开始
此模型基于 sentence-transformers 库,在 sci_topic_triplets 数据集上对 nomic-ai/nomic-embed-text-v1.5 进行微调。它能将句子和段落映射到 768 维的密集向量空间,可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等任务。
直接使用(Sentence Transformers)
首先安装 Sentence Transformers 库:
pip install -U sentence-transformers
然后,你可以加载这个模型并进行推理:
from sentence_transformers import SentenceTransformer
# 从 🤗 Hub 下载
model = SentenceTransformer("Corran/SciTopicNomicEmbed")
# 运行推理
sentences = [
'The IANA Task Force (2021) builds upon previous research suggesting that slower gait speed is associated with increased risk of adverse outcomes in older adults (Levine et al., 2015; Schoenfeld et al., 2016).',
'Gait speed at usual pace as a predictor of adverse outcomes in community-dwelling older people an International Academy on Nutrition and Aging (IANA) Task Force',
'Referring to another writer’s idea(s) or position',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
✨ 主要特性
- 多任务支持:可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。
- 高维向量映射:能够将句子和段落映射到 768 维的密集向量空间,有效捕捉语义信息。
- 长序列处理:最大支持 8192 个标记的序列长度。
📦 安装指南
首先安装 Sentence Transformers 库:
pip install -U sentence-transformers
💻 使用示例
基础用法
from sentence_transformers import SentenceTransformer
# 从 🤗 Hub 下载
model = SentenceTransformer("Corran/SciTopicNomicEmbed")
# 运行推理
sentences = [
'The IANA Task Force (2021) builds upon previous research suggesting that slower gait speed is associated with increased risk of adverse outcomes in older adults (Levine et al., 2015; Schoenfeld et al., 2016).',
'Gait speed at usual pace as a predictor of adverse outcomes in community-dwelling older people an International Academy on Nutrition and Aging (IANA) Task Force',
'Referring to another writer’s idea(s) or position',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 详细文档
模型详情
模型描述
属性 | 详情 |
---|---|
模型类型 | 句子转换器 |
基础模型 | nomic-ai/nomic-embed-text-v1.5 |
最大序列长度 | 8192 个标记 |
输出维度 | 768 维 |
相似度函数 | 余弦相似度 |
训练数据集 | sci_topic_triplets |
语言 | 英语 |
许可证 | apache-2.0 |
模型来源
- 文档:Sentence Transformers 文档
- 仓库:GitHub 上的 Sentence Transformers
- Hugging Face:Hugging Face 上的 Sentence Transformers
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
评估
指标
信息检索
- 数据集:
SciGen-Eval-Set
- 使用
InformationRetrievalEvaluator
进行评估
指标 | 值 |
---|---|
cosine_accuracy@1 | 0.1975 |
cosine_accuracy@3 | 0.5547 |
cosine_accuracy@5 | 0.8161 |
cosine_accuracy@10 | 0.9893 |
cosine_precision@1 | 0.1975 |
cosine_precision@3 | 0.1849 |
cosine_precision@5 | 0.1632 |
cosine_precision@10 | 0.0989 |
cosine_recall@1 | 0.1975 |
cosine_recall@3 | 0.5547 |
cosine_recall@5 | 0.8161 |
cosine_recall@10 | 0.9893 |
cosine_ndcg@10 | 0.5664 |
cosine_mrr@10 | 0.4327 |
cosine_map@100 | 0.4333 |
训练详情
训练数据集
- sci_topic_triplets
- 数据集:sci_topic_triplets(版本 8bf9936)
- 大小:35,964 个训练样本
- 列:
query
、positive
和negative
- 基于前 1000 个样本的近似统计信息:
| | 查询 | 正样本 | 负样本 |
| ---- | ---- | ---- | ---- |
| 类型 | 字符串 | 字符串 | 字符串 |
| 详情 |
- 最小:17 个标记
- 平均:40.37 个标记
- 最大:93 个标记
- 最小:5 个标记
- 平均:18.75 个标记
- 最大:56 个标记
- 最小:5 个标记
- 平均:10.74 个标记
- 最大:23 个标记
- 样本:
| 查询 | 正样本 | 负样本 |
| ---- | ---- | ---- |
|
This study provides comprehensive estimates of life expectancy, all-cause mortality, and cause-specific mortality for 249 causes of death and 195 countries and territories from 1980 to 2015, allowing for a detailed understanding of global health trends and patterns over the past four decades.
|Global, regional, and national life expectancy, all-cause mortality, and cause-specific mortality for 249 causes of death, 1980–2015: a systematic analysis for the Global Burden of Disease Study 2015
|Explaining the significance of the current study
| |This paper explores the relationship between the expected value and the volatility of the nominal excess return on stocks using a econometric approach.
|On the Relation between the Expected Value and the Volatility of the Nominal Excess Return on Stocks
|Stating the focus, aim, or argument of a short paper
| |Despite the increasing attention given to the role of audit committees and board of directors in mitigating earnings management, several studies have reported inconclusive or even negative findings.
|Audit committee, board of director characteristics, and earnings management
|General reference to previous research or scholarship: highlighting negative outcomes
| - 损失函数:
MatryoshkaLoss
,参数如下:
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
384,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
评估数据集
- sci_topic_triplets
- 数据集:sci_topic_triplets(版本 8bf9936)
- 大小:4,495 个评估样本
- 列:
query
、positive
和negative
- 基于前 1000 个样本的近似统计信息:
| | 查询 | 正样本 | 负样本 |
| ---- | ---- | ---- | ---- |
| 类型 | 字符串 | 字符串 | 字符串 |
| 详情 |
- 最小:18 个标记
- 平均:40.1 个标记
- 最大:87 个标记
- 最小:5 个标记
- 平均:18.75 个标记
- 最大:58 个标记
- 最小:5 个标记
- 平均:10.74 个标记
- 最大:23 个标记
- 样本:
| 查询 | 正样本 | 负样本 |
| ---- | ---- | ---- |
|
In this cluster-randomised controlled trial, the authors aimed to evaluate the effectiveness of introducing the Medical Emergency Team (MET) system in reducing response times and improving patient outcomes in emergency departments.
|Introduction of the medical emergency team (MET) system: a cluster-randomised controlled trial
|Some ways of introducing quotations
| |In the data collection phase of our study, we employed both surveys and interviews as research methods. Specifically, we administered surveys to 200 participants and conducted interviews with 10 key industry experts to gather proportional data on various aspects of management science practices.
|Research Methodology: A Step-by-Step Guide for Beginners
|Surveys and interviews: Reporting proportions
| |Several density functional theory (DFT) based chemical reactivity indexes, such as the Fukui functions and the electrophilic and nucleophilic indices, are discussed in detail for their ability to predict chemical reactivity.
|Chemical reactivity indexes in density functional theory
|General comments on the relevant literature
| - 损失函数:
MatryoshkaLoss
,参数如下:
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
384,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
训练超参数
非默认超参数
eval_strategy
:按步骤评估per_device_train_batch_size
:256per_device_eval_batch_size
:256learning_rate
:2e-05num_train_epochs
:10warmup_ratio
:0.1fp16
:Trueload_best_model_at_end
:True
所有超参数
点击展开
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: stepsprediction_loss_only
: Trueper_device_train_batch_size
: 256per_device_eval_batch_size
: 256per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 2e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 10max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.1warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Truefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Trueignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Nonehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseinclude_for_metrics
: []eval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falseaverage_tokens_across_devices
: Falseprompts
: Nonebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: proportional
训练日志
轮次 | 步骤 | 训练损失 | 验证损失 | SciGen-Eval-Set_cosine_ndcg@10 |
---|---|---|---|---|
0 | 0 | - | - | 0.5454 |
0.1418 | 20 | 4.4872 | 3.1379 | 0.5468 |
0.2837 | 40 | 2.241 | 1.7162 | 0.5497 |
0.4255 | 60 | 1.5937 | 1.4834 | 0.5524 |
0.5674 | 80 | 1.5356 | 1.3911 | 0.5541 |
0.7092 | 100 | 1.4106 | 1.3277 | 0.5549 |
0.8511 | 120 | 1.2612 | 1.2919 | 0.5561 |
0.9929 | 140 | 1.3147 | 1.2642 | 0.5572 |
1.1348 | 160 | 1.1527 | 1.2529 | 0.5582 |
1.2766 | 180 | 1.2103 | 1.2388 | 0.5593 |
1.4184 | 200 | 1.2407 | 1.2235 | 0.5598 |
1.5603 | 220 | 1.1356 | 1.2101 | 0.5607 |
1.7021 | 240 | 1.1644 | 1.1938 | 0.5605 |
1.8440 | 260 | 1.1927 | 1.1864 | 0.5612 |
1.9858 | 280 | 1.1909 | 1.1800 | 0.5613 |
2.1277 | 300 | 1.0549 | 1.1785 | 0.5620 |
2.2695 | 320 | 1.0745 | 1.1755 | 0.5630 |
2.4113 | 340 | 1.1485 | 1.1656 | 0.5637 |
2.5532 | 360 | 1.1159 | 1.1654 | 0.5637 |
2.6950 | 380 | 1.0686 | 1.1623 | 0.5640 |
2.8369 | 400 | 1.1436 | 1.1594 | 0.5632 |
2.9787 | 420 | 1.0899 | 1.1534 | 0.5644 |
3.1206 | 440 | 1.0756 | 1.1512 | 0.5647 |
3.2624 | 460 | 1.0203 | 1.1536 | 0.5645 |
3.4043 | 480 | 1.1073 | 1.1564 | 0.5650 |
3.5461 | 500 | 1.0423 | 1.1594 | 0.5651 |
3.6879 | 520 | 1.069 | 1.1514 | 0.5652 |
3.8298 | 540 | 1.0101 | 1.1538 | 0.5645 |
3.9716 | 560 | 1.0685 | 1.1647 | 0.5650 |
4.1135 | 580 | 1.0326 | 1.1618 | 0.5653 |
4.2553 | 600 | 1.0729 | 1.1587 | 0.5648 |
4.3972 | 620 | 1.0417 | 1.1515 | 0.5655 |
4.5390 | 640 | 1.0438 | 1.1528 | 0.5657 |
4.6809 | 660 | 1.025 | 1.1433 | 0.5660 |
4.8227 | 680 | 1.0526 | 1.1382 | 0.5662 |
4.9645 | 700 | 1.0485 | 1.1392 | 0.5663 |
5.1064 | 720 | 1.0348 | 1.1411 | 0.5665 |
5.2482 | 740 | 1.1001 | 1.1511 | 0.5663 |
5.3901 | 760 | 1.0926 | 1.1625 | 0.5662 |
5.5319 | 780 | 1.0885 | 1.1487 | 0.5662 |
5.6738 | 800 | 1.0942 | 1.1492 | 0.5665 |
5.8156 | 820 | 1.0457 | 1.1465 | 0.5666 |
5.9574 | 840 | 1.0479 | 1.1461 | 0.5664 |
框架版本
- Python:3.11.11
- Sentence Transformers:3.3.1
- Transformers:4.47.1
- PyTorch:2.5.1+cu124
- Accelerate:1.2.1
- Datasets:3.2.0
- Tokenizers:0.21.0
📄 许可证
本模型使用 apache-2.0 许可证。
📖 引用
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98