Nomic V2 Tuned 1

🚀 微調後的Nomic v2

這是一個基於 sentence-transformers 框架，在JSON數據集上對 nomic-ai/nomic-embed-text-v2-moe 模型進行微調得到的模型。它可以將句子和段落映射到一個768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先安裝Sentence Transformers庫：

pip install -U sentence-transformers

然後你可以加載這個模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("DGSMsRzJ6xC2JthtHG9W/nomic-v2-tuned-1")
# 進行推理
sentences = [
    'Если гражданин, ограниченный в дееспособности из-за психического расстройства, совершил сделку, повлекшую имущественные потери, кто несет ответственность за причиненный ущерб и на каких основаниях?',
    '<p>Гражданин, ограниченный судом в дееспособности по основаниям, предусмотренным настоящим пунктом, может распоряжаться выплачиваемыми на него алиментами, социальной пенсией, возмещением вреда здоровью и в связи со смертью кормильца и иными предоставляемыми на его содержание выплатами с письменного согласия попечителя, за исключением выплатами, которые указаны в подпункте 1 пункта 2 статьи 26 настоящего Кодекса и которыми он вправе распоряжаться самостоятельно. Такой гражданин вправе распоряжаться указанными выплатами в течение срока, определенного попечителем. Распоряжение указанными выплатами может быть прекращено до истечения данного срока по решению попечителя.</p><p>При наличии достаточных оснований суд по ходатайству попечителя либо органа опеки и попечительства может ограничить или лишить такого гражданина права самостоятельно распоряжаться своими доходами, указанными в подпункте 1 пункта 2 статьи 26 настоящего Кодекса.</p><p>Гражданин, дееспособность которого ограничена вследствие психического расстройства, самостоятельно несет имущественную ответственность по сделкам, совершенным им в соответствии с настоящей статьей. За причиненный им вред такой гражданин несет ответственность в соответствии с настоящим Кодексом.</p><p>(Пункт в редакции Федерального закона <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p><p>3. Если основания, в силу которых гражданин был ограничен в дееспособности, отпали, суд отменяет ограничение его дееспособности. На основании решения суда отменяется установленное над гражданином попечительство.</p><p>Если психическое состояние гражданина, который вследствие психического расстройства был в соответствии с пунктом 2 настоящей статьи ограничен в дееспособности, изменилось, суд признает его недееспособным в соответствии со статьей 29 настоящего Кодекса или отменяет ограничение его дееспособности.</p><p>(Дополнение пунктом - Федеральный закон <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p>',
    '<p>1. По договору складского хранения товарный склад (хранитель) обязуется за вознаграждение хранить товары, переданные ему товаровладельцем (поклажедателем), и возвратить эти товары в сохранности.</p><p>Товарным складом признается организация, осуществляющая в качестве предпринимательской деятельности хранение товаров и оказывающая связанные с хранением услуги.</p><p>2. Письменная форма договора складского хранения считается соблюденной, если его заключение и принятие товара на склад удостоверены складским документом (статья 912).</p>',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

該模型具有以下特性：

• 將句子和段落映射到768維的密集向量空間。
• 可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等多種自然語言處理任務。

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers文檔
• 倉庫：GitHub上的Sentence Transformers
• Hugging Face：Hugging Face上的Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

信息檢索

• 數據集：dim_768、dim_512 和 dim_256
• 評估方法：使用 InformationRetrievalEvaluator 進行評估

訓練詳情

訓練數據集

json

• 數據集：json
• 大小：13,186個訓練樣本
• 列：anchor 和 positive
• 基於前1000個樣本的近似統計信息： | | anchor | positive | | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | | 詳情 |
  • 最小值：19個標記
  • 平均值：59.74個標記
  • 最大值：162個標記
  |
  • 最小值：40個標記
  • 平均值：257.8個標記
  • 最大值：512個標記
  |
• 樣本： | anchor | positive | | ---- | ---- | | Предположим, работник должника действовал вопреки указаниям руководства и тем самым причинил ущерб кредитору. Изменит ли это подход к определению ответственности должника? |

  Действия работников должника по исполнению его обязательства считаются действиями должника. Должник отвечает за эти действия, если они повлекли неисполнение или ненадлежащее исполнение обязательства.

  | | Композитор Петров заключил договор с аккредитованной организацией «Мелодия» на управление правами на его произведения. Через год Петров решил передать права на управление одной конкретной песней новой организации «Звук». Какие действия должен предпринять Петров, чтобы передать права на управление песней организации «Звук», и какие обязательства при этом возникают у «Мелодии»? |

  Наличие аккредитованной организации не препятствует созданию других организаций по управлению правами на коллективной основе, в том числе в сферах коллективного управления, указанных в пункте 1 настоящей статьи. Такие организации вправе заключать договоры с пользователями только в интересах правообладателей, предоставивших им полномочия по управлению правами в порядке, предусмотренном пунктом 3 статьи 1242 настоящего Кодекса.

  4. Правообладатель, не заключивший с аккредитованной организацией договора о передаче полномочий по управлению правами (пункт 3 настоящей статьи), вправе в любой момент полностью или частично отказаться от управления этой организацией его правами. Правообладатель должен письменно уведомить о своем решении аккредитованную организацию. В случае, если правообладатель намеревается отказаться от управления аккредитованной организацией только частью авторских или смежных прав и (или) объектов этих прав, он должен представить ей перечень таких исключаемых прав и... | | Мария получила цифровое право на использование музыкального трека в онлайн-сервисе. Правила сервиса не определяют, кто является обладателем цифрового права в случае смерти пользователя. Мария умерла. Кто будет считаться обладателем цифрового права на музыкальный трек после смерти Марии, согласно тексту статьи? |

  1. Цифровыми правами признаются названные в таком качестве в законе обязательственные и иные права, содержание и условия осуществления которых определяются в соответствии с правилами информационной системы, отвечающей установленным законом признакам. Осуществление, распоряжение, в том числе передача, залог, обременение цифрового права другими способами или ограничение распоряжения цифровым правом возможны только в информационной системе без обращения к третьему лицу.

  2. Если иное не предусмотрено законом, обладателем цифрового права признается лицо, которое в соответствии с правилами информационной системы имеет возможность распоряжаться этим правом. В случаях и по основаниям, которые предусмотрены законом, обладателем цифрового права признается иное лицо.

  3. Переход цифрового права на основании сделки не требует согласия лица, обязанного по такому цифровому праву.

  (Дополнение статьей - Федеральный закон от 18.03.2019 № 34-ФЗ)

  |
• 損失函數：MatryoshkaLoss，參數如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256
    ],
    "matryoshka_weights": [
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

訓練超參數

非默認超參數

• eval_strategy：epoch
• per_device_train_batch_size：32
• per_device_eval_batch_size：16
• gradient_accumulation_steps：16
• learning_rate：2e-05
• num_train_epochs：4
• lr_scheduler_type：cosine
• warmup_ratio：0.1
• bf16：True
• tf32：True
• load_best_model_at_end：True
• optim：adamw_torch_fused
• batch_sampler：no_duplicates

所有超參數

訓練日誌

注：加粗的行表示保存的檢查點。

框架版本

• Python：3.11.11
• Sentence Transformers：3.4.1
• Transformers：4.43.0
• PyTorch：2.6.0+cu124
• Accelerate：1.3.0
• Datasets：3.3.2
• Tokenizers：0.19.1

📄 許可證

該模型使用MIT許可證。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}