Marathisentencesimilarity

🚀 基于l3cube - pune/marathi - sentence - similarity - sbert的句子转换器模型

本项目基于 l3cube - pune/marathi - sentence - similarity - sbert 模型进行微调，构建了一个强大的句子转换器。它能够将句子和段落映射到768维的密集向量空间，可广泛应用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多个自然语言处理任务中。

🚀 快速开始

安装Sentence Transformers库

首先，你需要安装 Sentence Transformers 库：

pip install -U sentence-transformers

加载模型并进行推理

安装完成后，你可以加载此模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 进行推理
sentences = [
    'प्रादेशिक आणि आंतरराष्ट्रीय नॉन-प्रसार विषयांवर संवाद आणि वाटाघाटीद्वारे लक्ष दिले पाहिजे.',
    'दुसरा प्रस्ताव असा होता की प्रादेशिक आणि आंतरराष्ट्रीय नॉन-प्रसार-विषयांवर संवाद आणि वाटाघाटीद्वारे लक्ष दिले पाहिजे.',
    'अमेरिकेच्या बॉय स्काऊट्स समलिंगीवरील बंदीवर मतदानावर विलंब करतात',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 多任务支持：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。
• 高效映射：能将句子和段落高效地映射到768维的密集向量空间。

📦 安装指南

安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 进行推理
sentences = [
    'प्रादेशिक आणि आंतरराष्ट्रीय नॉन-प्रसार विषयांवर संवाद आणि वाटाघाटीद्वारे लक्ष दिले पाहिजे.',
    'दुसरा प्रस्ताव असा होता की प्रादेशिक आणि आंतरराष्ट्रीय नॉन-प्रसार-विषयांवर संवाद आणि वाटाघाटीद्वारे लक्ष दिले पाहिजे.',
    'अमेरिकेच्या बॉय स्काऊट्स समलिंगीवरील बंदीवर मतदानावर विलंब करतात',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers Documentation
• 仓库：[Sentence Transformers on GitHub](https://github.com/UKPLab/sentence - transformers)
• Hugging Face：[Sentence Transformers on Hugging Face](https://huggingface.co/models?library = sentence - transformers)

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

训练详情

训练数据集

未命名数据集

• 规模：5748个训练样本
• 列信息：包含 <code>sentence_0</code>、<code>sentence_1</code> 和 <code>label</code> 三列
• 基于前1000个样本的近似统计信息： | | sentence_0 | sentence_1 | label | | ---- | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | 浮点数 | | 详情 |
  • 最小：5个词元
  • 平均：16.13个词元
  • 最大：67个词元
  |
  • 最小：5个词元
  • 平均：16.26个词元
  • 最大：55个词元
  |
  • 最小：0.0
  • 平均：0.55
  • 最大：1.0
  |
• 样本示例： | sentence_0 | sentence_1 | label | | ---- | ---- | ---- | | बोलताना त्या माणसाने आपला सनग्लासेस काढून घेतला. | कठोर टोपी घातलेला माणूस बोलताना त्याचे चष्मा काढून टाकतो. | 0.6799999999999999 | | दिवाणखान्यात लोकांचा एक गट. | चार लोकांचा एक गट राक्षस मशरूमच्या मागे चालत आहे. | 0.16 | | अ‍ॅम्नेस्टी इंटरनॅशनलचा अहवाल सशस्त्र हिंसाचाराला विरोध करणार्‍या सेफरवर्ल्डसारख्या युरोपियन आणि आंतरराष्ट्रीय गैर - सरकारी संस्थांनी संकलित केला होता. | अ‍ॅम्नेस्टी आंतरराष्ट्रीय अहवाल युरोपियन आणि आंतरराष्ट्रीय गैर - सरकारी मंचांनी संकलित केला होता. | 0.64 |
• 损失函数：CosineSimilarityLoss，参数如下：

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

训练超参数

非默认超参数

• num_train_epochs：4
• multi_dataset_batch_sampler：round_robin

所有超参数

训练日志

框架版本

• Python：3.11.13
• Sentence Transformers：4.1.0
• Transformers：4.53.2
• PyTorch：2.6.0 + cu124
• Accelerate：1.8.1
• Datasets：2.14.4
• Tokenizers：0.21.2

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}