Paraphrase Mongolian Minilm Mn V2

🚀 基於sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2的句子轉換器

本模型是基於 sentence-transformers 框架，從 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 微調而來，在csv數據集上進行訓練。它可將句子和段落映射到384維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

✨ 主要特性

• 支持多語言，可處理多種語言的句子和段落。
• 能夠將文本映射到384維的密集向量空間，便於進行語義相似度計算等任務。
• 在語義相似度評估中表現出色，在dev-t和test-t數據集上均取得了較高的分數。

📦 安裝指南

首先，你需要安裝Sentence Transformers庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("gmunkhtur/paraphrase-mongolian-minilm-mn_v2")
# 進行推理
sentences = [
    '"Сэтгүүлч анд маань хоёр дахь номоо хэвлэлтээс гаргажээ"',
    '"Л.Болормаагийн хоёр дахь ном “Завгүй” хэмээн нэрийджээ."',
    'БНХАУ-ын аж үйлдвэрлэлийн үйлдвэрлэлт буурсан.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers Documentation
• 倉庫：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評估

指標

語義相似度

• 數據集：dev-t和test-t
• 評估方法：使用 EmbeddingSimilarityEvaluator 進行評估

訓練詳情

訓練數據集

csv

• 數據集：csv
• 大小：77,201個訓練樣本
• 列：sentence1、sentence2和score
• 基於前1000個樣本的近似統計信息： | | sentence1 | sentence2 | score | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
  • 最小：3個詞元
  • 平均：16.02個詞元
  • 最大：96個詞元
  |
  • 最小：3個詞元
  • 平均：14.66個詞元
  • 最大：87個詞元
  |
  • 最小：-0.14
  • 平均：0.63
  • 最大：1.0
  |
• 樣本： | sentence1 | sentence2 | score | | ---- | ---- | ---- | | Маргааш мэдээлэл өгнө | Хэвлэлийн хурал болно. | 0.5448001623153687 | | Дотоод аудитын шалгалтаар 2012 - 2013 оны үйл ажиллагаанд 16 зөрчил илэрлээ | “Монголын Хөрөнгийн Бирж” ТӨХК - ийн Төлөөлөн удирдах зөвлөл болон Гүйцэтгэх удирдлагад 13 зөвлөмж өгөгдсөн байна. | 0.4059729874134063 | | "хохирогчид ажлын байраар хангагдана" | "ажил олддог болно." | 0.6021140813827515 |
• 損失函數：CosineSimilarityLoss，參數如下：

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

評估數據集

csv

• 數據集：csv
• 大小：77,201個評估樣本
• 列：sentence1、sentence2和score
• 基於前1000個樣本的近似統計信息： | | sentence1 | sentence2 | score | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
  • 最小：3個詞元
  • 平均：16.53個詞元
  • 最大：85個詞元
  |
  • 最小：3個詞元
  • 平均：14.68個詞元
  • 最大：83個詞元
  |
  • 最小：-0.04
  • 平均：0.62
  • 最大：1.0
  |
• 樣本： | sentence1 | sentence2 | score | | ---- | ---- | ---- | | Ченжүүд мэдээллийн сүлжээтэй лут холбогдсон байх юм | "Энд ноолуурын үнэ асуусан хэдэн нөхөд яваад байна" гээд хэлчихсэн бололтой юм | 0.3234536349773407 | | Хий дэлбэрэлт гарсан тухай мэдээлэл байна уу? | Мэдээлэл цуглуулж байна. | 0.3009476661682129 | | "Энэ нь хэн нэгнээр дамжуулж биш өөрөө сонгоно гэсэн утгатай. | Өөрөө сонгоно гэсэн утгатай." | 0.770484447479248 |
• 損失函數：CosineSimilarityLoss，參數如下：

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

訓練超參數

非默認超參數

• eval_strategy：steps
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• num_train_epochs：5
• warmup_ratio：0.1
• fp16：True
• batch_sampler：no_duplicates

所有超參數

訓練日誌

框架版本

• Python：3.10.12
• Sentence Transformers：3.3.1
• Transformers：4.47.1
• PyTorch：2.5.1+cu121
• Accelerate：1.2.1
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}