Nomic V2 Tuned 1

🚀 微调后的 Nomic v2

这是一个基于 Sentence Transformers 库的模型，它在 JSON 数据集上对 nomic-ai/nomic-embed-text-v2-moe 进行了微调。该模型可以将句子和段落映射到一个 768 维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

✨ 主要特性

• 基于强大的 nomic-ai/nomic-embed-text-v2-moe 基础模型进行微调，在语义理解上表现出色。
• 能够将文本映射到 768 维的向量空间，便于进行语义相似度计算和搜索。
• 支持多种自然语言处理任务，如语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等。

📦 安装指南

首先，你需要安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    'Компания «Альфа» заключила договор с инженером Петровским на разработку нового программного обеспечения.  В процессе работы Петровский создал изобретение, защищаемое патентом. Договор не содержал пунктов, касающихся прав на интеллектуальной собственности.  Кто является правообладателем патента на изобретение, и может ли компания «Альфа» использовать это изобретение без выплаты дополнительного вознаграждения?',
    '<p>1. Право на получение патента и исключительное право на изобретение, полезную модель или промышленный образец, созданные при выполнении договора подряда или договора на выполнение научно-исследовательских, опытно-конструкторских или технологических работ, которые прямо не предусматривали их создание, принадлежат подрядчику (исполнителю), если договором между ним и заказчиком не предусмотрено иное. (В редакции Федерального закона <a href="102171743">от 12.03.2014 № 35-ФЗ</a>)</p><p>В этом случае заказчик вправе, если договором не предусмотрено иное, использовать созданные таким образом изобретение, полезную модель или промышленный образец в целях, для достижения которых был заключен соответствующий договор, на условиях простой (неисключительной) лицензии в течение всего срока действия патента без выплаты за это использование дополнительного вознаграждения. При передаче подрядчиком (исполнителем) права на получение патента или отчуждении самого патента другому лицу заказчик сохраняет право использования изобретения, полезной модели или промышленного образца на указанных условиях.</p><p>2. В случае, когда в соответствии с договором между подрядчиком (исполнителем) и заказчиком право на получение патента или исключительное право на изобретение, полезную модель или промышленный образец передано заказчику либо указанному им третьему лицу, подрядчик (исполнитель) вправе использовать созданные изобретение, полезную модель или промышленный образец для собственных нужд на условиях безвозмездной простой (неисключительной) лицензии в течение всего срока действия патента, если договором не предусмотрено иное.</p><p>3. Автору указанных в пункте 1 настоящей статьи изобретения, полезной модели или промышленного образца, не являющемуся патентообладателем, выплачивается вознаграждение в соответствии с пунктом 4 статьи 1370 настоящего Кодекса.</p>',
    '<p>передаче в порядке, установленном частью 11 статьи 154 Федерального закона <a href="102088491">от 22 августа 2004 года № 122-ФЗ</a> "О внесении изменений в законодательные акты Российской Федерации и признании утратившими силу некоторых законодательных актов Российской Федерации в связи с принятием федеральных законов <a href="102067003">"О внесении изменений и дополнений в Федеральный закон "Об общих принципах организации законодательных (представительных) и исполнительных органов государственной власти субъектов Российской Федерации"</a> и <a href="102083574">"Об общих принципах организации местного самоуправления в Российской Федерации"</a>, акций из федеральной собственности в собственность субъекта Российской Федерации или муниципальную собственность, из собственности субъекта Российской Федерации в федеральную собственность или муниципальную собственность, из муниципальной собственности в федеральную собственность или собственность субъекта Российской Федерации. (Дополнение абзацем - Федеральный закон <a href="102157372">от 14.06.2012 № 77-ФЗ</a>)</p>',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

指标

在信息检索任务中，使用了 dim_768、dim_512、dim_256、dim_128 和 dim_64 数据集，并使用 InformationRetrievalEvaluator 进行评估。

训练详情

训练数据集

• json 数据集
  • 数据集：json
  • 大小：13,186 个训练样本
  • 列：anchor 和 positive
  • 基于前 1000 个样本的近似统计信息： | | anchor | positive | | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | | 详情 |
    • 最小：18 个标记
    • 平均：61.09 个标记
    • 最大：162 个标记
    |
    • 最小：40 个标记
    • 平均：258.71 个标记
    • 最大：512 个标记
    |
  • 样本： | anchor | positive | | ---- | ---- | | Студент разработал базу данных и подал заявку на государственную регистрацию, приложив к ней описание базы данных, реферат и заявление с указанием себя в качестве правообладателя и автора. В заявке он указал две разные базы данных. Соответствует ли заявка студента требованиям статьи закона? |

    1. Правообладатель в течение срока действия исключительного права на программу для ЭВМ или на базу данных может по своему желанию зарегистрировать такую программу или такую базу данных в федеральном органе исполнительной власти по интеллектуальной собственности.

    Программы для ЭВМ и базы данных, в которых содержатся сведения, составляющие государственную тайну, государственной регистрации не подлежат. Лицо, подавшее заявку на государственную регистрацию (заявитель), несет ответственность за разглашение сведений о программах для ЭВМ и базах данных, в которых содержатся сведения, составляющие государственную тайну, в соответствии с законодательством Российской Федерации.

    2. Заявка на государственную регистрацию программы для ЭВМ или базы данных (заявка на регистрацию) должна относиться к одной программе для ЭВМ или к одной базе данных.

    Заявка на регистрацию должна содержать:

    заявление о государственной регистрации программы для ЭВМ или базы данных с указанием пр... | | Предположим, наследственный договор предусматривает переход права собственности на дом к А, но А отказывается от наследства. Может ли Б, другая сторона договора, потребовать исполнения договора в отношении дома, если договор не содержал бы условий о передаче дома Б в случае отказа А? |

    1. Наследодатель вправе заключить с любым из лиц, которые могут призываться к наследованию (статья 1116), договор, условия которого определяют круг наследников и порядок перехода прав на имущество наследодателя после его смерти к пережившим наследодателя сторонам договора или к пережившим третьим лицам, которые могут призываться к наследованию (наследственный договор). Наследственный договор может также содержать условие о душеприказчике и возлагать на участвующих в наследственном договоре лиц, которые могут призываться к наследованию, обязанность совершить какие-либо не противоречащие закону действия имущественного или неимущественного характера, в том числе исполнить завещательные отказы или завещательные возложения.

    Последствия, предусмотренные наследственным договором, могут быть поставлены в зависимость от наступивших ко дню открытия наследства обстоятельств, относительно которых при заключении наследственного договора было неизвестно, наступят они или не наступят, в том ... | | В чем заключается различие в порядке оспаривания патента в зависимости от характера нарушения, указанного в пункте 1 настоящей статьи? |

    2. Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен путем подачи возражения в федеральный орган исполнительной власти по интеллектуальной собственности любым лицом, которому стало известно о нарушениях, предусмотренных подпунктами 1 - 4 пункта 1 настоящей статьи.

    Патент на изобретение, полезную модель или промышленный образец в течение срока его действия, установленного пунктами 1 - 3 статьи 1363 настоящего Кодекса, может быть оспорен в судебном порядке любым лицом, которому стало известно о нарушениях, предусмотренных подпунктом 5 пункта 1 настоящей статьи.

    Патент на изобретение, полезную модель или промышленный образец может быть оспорен заинтересованным лицом и по истечении срока его действия по основаниям и в порядке, которые установлены абзацами первым и вторым настоящего пункта.

    |
• 损失函数：MatryoshkaLoss，参数如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

训练超参数

• 非默认超参数
  • eval_strategy: epoch
  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • gradient_accumulation_steps: 16
  • learning_rate: 2e-05
  • num_train_epochs: 4
  • lr_scheduler_type: cosine
  • warmup_ratio: 0.1
  • bf16: True
  • load_best_model_at_end: True
  • optim: adamw_torch_fused
  • batch_sampler: no_duplicates
• 所有超参数：点击下面的展开按钮查看详情。

训练日志

点击下面的展开按钮查看训练日志详情。

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.43.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.19.1

📄 许可证

本模型使用的许可证为 apache-2.0。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}