Mpnet Base All Nli Triplet Turkish V3

🚀 MPNet base在AllNLI土耳其语三元组上训练的模型

该模型是基于 sentence-transformers 库，在 all-nli-triplets-turkish 数据集上对 microsoft/mpnet-base 模型进行微调得到的。它可以将句子和段落映射到768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后，你可以加载此模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("mertcobanov/mpnet-base-all-nli-triplet-turkish-v3")
# 运行推理
sentences = [
    'Ağaçlarla çevrili bulvar denize üç bloktan daha az uzanıyor.',
    'Deniz üç sokak bile uzakta değil.',
    'Denize ulaşmak için caddeden iki mil yol almanız gerekiyor.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 语义表示能力强：能够将句子和段落映射到768维的密集向量空间，有效捕捉语义信息。
• 多任务适用性：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。

📦 安装指南

安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("mertcobanov/mpnet-base-all-nli-triplet-turkish-v3")
# 运行推理
sentences = [
    'Ağaçlarla çevrili bulvar denize üç bloktan daha az uzanıyor.',
    'Deniz üç sokak bile uzakta değil.',
    'Denize ulaşmak için caddeden iki mil yol almanız gerekiyor.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

高级用法

# 高级用法可根据具体任务需求，对模型进行微调或结合其他技术使用。例如，在特定数据集上进行进一步训练以适应特定领域的任务。
# 这里假设我们有一个自定义的训练数据集 custom_dataset，包含 anchor、positive 和 negative 样本
from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader

# 加载模型
model = SentenceTransformer("mertcobanov/mpnet-base-all-nli-triplet-turkish-v3")

# 准备自定义训练数据
custom_dataset = [
    InputExample(texts=['anchor sentence 1', 'positive sentence 1', 'negative sentence 1']),
    InputExample(texts=['anchor sentence 2', 'positive sentence 2', 'negative sentence 2']),
    # 更多样本...
]

# 创建数据加载器
train_dataloader = DataLoader(custom_dataset, shuffle=True, batch_size=16)

# 定义损失函数
train_loss = losses.MultipleNegativesRankingLoss(model)

# 训练模型
model.fit(
    train_objectives=[(train_dataloader, train_loss)],
    epochs=10,
    warmup_steps=100,
    optimizer_params={'lr': 2e-05},
)

# 保存微调后的模型
model.save('fine_tuned_model')

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

评估

指标

训练详情

训练数据集

• 数据集：all-nli-triplets-turkish，版本 bff203b
• 大小：13,842 个训练样本
• 列：anchor_translated、positive_translated 和 negative_translated
• 基于前1000个样本的近似统计信息： | | anchor_translated | positive_translated | negative_translated | |------|------|------|------| | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小：8 个词元
  • 平均：13.42 个词元
  • 最大：95 个词元
  |
  • 最小：8 个词元
  • 平均：31.64 个词元
  • 最大：93 个词元
  |
  • 最小：6 个词元
  • 平均：32.03 个词元
  • 最大：89 个词元
  |
• 样本： | anchor_translated | positive_translated | negative_translated | |------|------|------| | Asyalı okul çocukları birbirlerinin omuzlarında oturuyor. | Okul çocukları bir arada | Asyalı fabrika işçileri oturuyor. | | İnsanlar dışarıda. | Arka planda resmi kıyafetler giymiş bir grup insan var ve beyaz gömlekli, haki pantolonlu bir adam toprak yoldan yeşil çimenlere atlıyor. | Bir odada üç kişiyle birlikte büyük bir kamera tutan bir adam. | | Bir adam dışarıda. | Adam yarış sırasında yan sepetten bir su birikintisine düşer. | Beyaz bir sarık sarmış gömleksiz bir adam bir ağaç gövdesine tırmanıyor. |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

评估数据集

• 数据集：all-nli-triplets-turkish，版本 bff203b
• 大小：6,584 个评估样本
• 列：anchor_translated、positive_translated 和 negative_translated
• 基于前1000个样本的近似统计信息： | | anchor_translated | positive_translated | negative_translated | |------|------|------|------| | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小：5 个词元
  • 平均：42.62 个词元
  • 最大：192 个词元
  |
  • 最小：5 个词元
  • 平均：22.58 个词元
  • 最大：77 个词元
  |
  • 最小：5 个词元
  • 平均：22.07 个词元
  • 最大：65 个词元
  |
• 样本： | anchor_translated | positive_translated | negative_translated | |------|------|------| | Ayrıca, bu özel tüketim vergileri, diğer vergiler gibi, hükümetin ödeme zorunluluğunu sağlama yetkisini kullanarak belirlenir. | Hükümetin ödeme zorlaması, özel tüketim vergilerinin nasıl hesaplandığını belirler. | Özel tüketim vergileri genel kuralın bir istisnasıdır ve aslında GSYİH payına dayalı olarak belirlenir. | | Gri bir sweatshirt giymiş bir sanatçı, canlı renklerde bir kasaba tablosu üzerinde çalışıyor. | Bir ressam gri giysiler içinde bir kasabanın resmini yapıyor. | Bir kişi bir beyzbol sopası tutuyor ve gelen bir atış için planda bekliyor. | | İmkansız. | Yapılamaz. | Tamamen mümkün. |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

训练超参数

非默认超参数

• eval_strategy：按步骤评估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• learning_rate：2e-05
• num_train_epochs：10
• warmup_ratio：0.1
• fp16：True
• batch_sampler：无重复采样

所有超参数

训练日志

框架版本

• Python: 3.10.14
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.3.0
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

🔧 技术细节

该模型基于 Sentence Transformers 库，使用 MultipleNegativesRankingLoss 损失函数在 all-nli-triplets-turkish 数据集上对 microsoft/mpnet-base 模型进行微调。通过将句子映射到768维的密集向量空间，利用余弦相似度计算句子之间的语义相似度。

📄 许可证

本模型使用 apache-2.0 许可证。

📚 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}