Italian ModernBERT Base Embed Mmarco Mnrl

🚀 Italian-ModernBERT-base-embed-mmarco-mnrl

這是一個基於 sentence-transformers 的模型，它在 mmarco 數據集上對 DeepMount00/Italian-ModernBERT-base 進行了微調。該模型能夠將句子和段落映射到 768 維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

本模型可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。下面將介紹如何安裝依賴庫並使用該模型進行推理。

✨ 主要特性

• 微調模型：基於 DeepMount00/Italian-ModernBERT-base 在 mmarco 數據集上進行微調。
• 向量映射：能夠將句子和段落映射到 768 維的密集向量空間。
• 多任務支持：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等多種任務。

📦 安裝指南

首先，你需要安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("Italian-ModernBERT-base-embed-mmarco-mnrl")
# 運行推理
sentences = [
    'chi è copa airlines?',
    "Copa Airlines è la principale compagnia aerea di Panama, con sede a Panama City. Le operazioni del Copa sono concentrate presso l'aeroporto internazionale di Tocumen, situato a 15 miglia da Panama City. Fondata nel 1947, Copa Airways ha iniziato con tre voli nazionali all'interno di Panama e oggi la compagnia vola verso 29 paesi e 64 destinazioni in Nord e Sud America e nei Caraibi.",
    "AIUTO: Ti trovi sulla pagina dei risultati dal vivo di Copa America amÃ'©rica 2015 In/Soccer South america. FlashScore.flashscore com offre classifiche Copa america amÃ'©rica, livescore 2015 e risultati parziali copa america amÃ'©rica 2015 (e partita, dettagli goal, marcatori rosso, †¦). confronto quote carte",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers Documentation
• 倉庫：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評估

指標

Triplet

• 數據集：mmarco_dev 和 mmarco_test
• 評估方法：使用 TripletEvaluator 進行評估

訓練詳情

訓練數據集

mmarco

• 數據集：mmarco
• 大小：39,780,811 個訓練樣本
• 列：query、positive 和 negative
• 基於前 1000 個樣本的近似統計信息： | | 查詢 | 正樣本 | 負樣本 | |------|------|------|------| | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小：4 個標記
  • 平均：10.93 個標記
  • 最大：26 個標記
  |
  • 最小：21 個標記
  • 平均：95.12 個標記
  • 最大：532 個標記
  |
  • 最小：20 個標記
  • 平均：87.17 個標記
  • 最大：423 個標記
  |
• 樣本： | 查詢 | 正樣本 | 負樣本 | |------|------|------| | cosa significa tbh nei messaggi? | TBH significa essere onesti. TBH Significato: essere onesti. Ci sono quasi 6 milioni di foto con l'hashtag TBH su Instagram. TBH, o To Be Honest, è un acronimo particolarmente popolare su Facebook, ma utilizzato frequentemente anche quando si inviano messaggi di testo, messaggi o chat online. TBH significa âÂÀœPer essere onesti, Â⠀ . | Ora le chiamate e gli sms possono essere fatti praticamente ovunque. Il Wi-Fi è ovunque e oggi il tuo telefono si connette a ogni singola connessione Wi-Fi come se fossero torri T-Mobile. In realtà, falle diventare le tue torri. Ora puoi scegliere come connetterti, indipendentemente da dove ti trovi, a casa, in ufficio, anche fuori dalla portata del cellulare. | | effetti del tè nero sul corpo | Gli effetti collaterali del bere troppo tè nero includono difficoltà a dormire, mal di testa, nervosismo, diarrea, irritabilità, battito cardiaco irregolare, confusione, bruciore di stomaco, tremori alle estremità e possibilmente convulsioni. Questi effetti collaterali sono tutti il ​​risultato del contenuto di caffeina nel tè nero. Se sei abituato a bere regolarmente tè nero, in particolare in quantità maggiori, potresti sviluppare una dipendenza fisica e psicologica dalla bevanda, ancora una volta, principalmente a causa del contenuto di caffeina. | Un tipo di tè meno conosciuto, il tè oolong è ottenuto dalle foglie della pianta Camellia sinensis, la stessa pianta utilizzata per produrre tè nero e verde. A differenza del tè nero, che viene ossidato fino a quando le foglie non assumono un colore nero intenso, il tè oolong è parzialmente ossidato. I benefici del tè Oolong. | | un genitore può prelevare dal conto di un minore? | Il custode di un conto UGMA/UTMA controlla e gestisce i beni di un minore (il beneficiario del conto). Non è necessario che un genitore sia il custode dell'account e puoi scegliere qualcun altro per gestire un account UGMA / UTMA per conto di tuo figlio. Il custode di un account UGMA / UTMA controlla e gestisce il patrimonio di un minore (il beneficiario del conto). Non è necessario che un genitore sia il custode dell'account e puoi scegliere qualcun altro per gestire un UGMA / UTMA per conto di tuo figlio. | Ciò significa che il totale del tuo account è $ 5.272,50. Secondo le regole Roth IRA (controlla la pubblicazione IRS 590 per ulteriori informazioni), puoi prelevare fino a $ 5.000 senza pagare tasse su di esso e senza pagare una penale. Una volta che attingi ai tuoi guadagni che $272,50  la storia cambia. Puoi prelevare ciò che hai contribuito in qualsiasi momento e per qualsiasi motivo. Ciò significa che il totale del tuo account è $ 5,272,50. In base alle regole Roth IRA (controlla la pubblicazione IRS 590 per ulteriori informazioni), puoi prelevare fino a $ 5.000 senza pagare le tasse su di esso e senza pagare una penale. Una volta che ti immergi nei tuoi guadagni, che sono $272,50, la storia cambia. |
• 損失函數：MatryoshkaLoss，參數如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

評估數據集

mmarco

• 數據集：mmarco
• 大小：39,780,811 個評估樣本
• 列：query、positive 和 negative
• 基於前 1000 個樣本的近似統計信息： | | 查詢 | 正樣本 | 負樣本 | |------|------|------|------| | 類型 | 字符串 | 字符串 | 字符串 | | 詳情 |
  • 最小：4 個標記
  • 平均：11.05 個標記
  • 最大：35 個標記
  |
  • 最小：16 個標記
  • 平均：93.92 個標記
  • 最大：449 個標記
  |
  • 最小：20 個標記
  • 平均：89.53 個標記
  • 最大：260 個標記
  |
• 樣本： | 查詢 | 正樣本 | 負樣本 | |------|------|------| | quali sono alcune cose importanti da ricordare quando si avvia un piano di fitness | Quattro cose che devi sapere prima di aprire una palestra Dall'addetto al check-in della reception al manager, un operatore del club deve assumere un ottimo personale per gestire le operazioni quotidiane del club. Foto per gentile concessione di Jonas Fitness. CONTENUTI SPONSORIZZATI DA: Jonas Fitness In questi giorni, molte palestre possono essere una monetina una dozzina. | Note importanti da ricordare. È importante ricordare che mentre la perdita del tappo di muco è un'indicazione del travaglio, non significa che il travaglio stia per iniziare subito. Per le donne che partoriscono per la prima volta, il tappo di muco viene solitamente espulso giorni prima dell'inizio del travaglio e spesso può essere un segno di un travaglio precoce. | | i sunpatiens possono essere annaffiati ogni giorno? | Mi dispiace non essere d'accordo con te, ma io vivo nel sud, nella Georgia centrale e i Sunpatiens DO WILT al sole. Sono piantati sul lato sud della mia casa e ricevono la luce diretta del sole dalle 10:00 alle 16:00 quando sono all'ombra. Vengono annaffiate ogni mattina alle 6 quando l'impianto di irrigazione si attiva per ben 45 minuti. Si riprendono dopo che sono all'ombra, ma affermare che sono amanti del sole totale non è una vera affermazione. | Miglior risposta: ci sono centinaia di modi per risolvere i cubi di Rubik, ma la maggior parte di essi si diramano semplicemente dai quattro di base. Il metodo Petrus, CFOP, metodo Corners first e Roux. Il tuo metodo di base è una versione annacquata di CFOP. La maggior parte degli altri sono semplicemente versioni estese di questi metodi. | | indirizzo di terapia fisica calaveras | Terapia fisica Calaveras 670 E. Calaveras Blvd., Suite 112 Milpitas, CA 95035 Telefono: (408) 934-4700 | Fax: (408) 934-4701 | Deve lavorare secondo le linee guida dell'American Physical Therapy Association e del corrispondente State Board of Physical Therapy come richiesto dal fisioterapista (Home Health) - A tempo pieno - All Care Rehab & Staffing - San Fernando, CA |
• 損失函數：MatryoshkaLoss，參數如下：

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

所有超參數

訓練日誌

加粗行表示保存的檢查點。

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.5.0.dev0
• Transformers: 4.50.0.dev0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

📄 許可證

文檔中未提及相關許可證信息。

🔧 技術細節

文檔中未提及相關技術細節。

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}