Tooka SBERT V2 Small

🚀 Tooka-SBERT-V2-Small

Tooka-SBERT-V2-Small 是一个经过训练的句子转换器模型，用于语义文本相似度和嵌入任务。它能将句子和段落映射到一个密集向量空间，在这个空间中，语义相似的文本会靠得很近。该模型有两种尺寸可供选择：Small 和 Large。

🚀 快速开始

直接使用（Sentence Transformers）

首先，安装 Sentence Transformers 库：

pip install sentence-transformers==3.4.1

然后，你可以加载这个模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("PartAI/Tooka-SBERT-V2-Small")
# 进行推理
sentences = [
    'درنا از پرندگان مهاجر با پاهای بلند و گردن دراز است.',
    'درناها با قامتی بلند و بال‌های پهن، از زیباترین پرندگان مهاجر به شمار می‌روند.',
    'درناها پرندگانی کوچک با پاهای کوتاه هستند که مهاجرت نمی‌کنند.'
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

🔧 技术细节

训练分两个阶段进行：

1. 预训练：在 Targoman News 数据集上进行。
2. 微调：在多个合成数据集上进行。

阶段 1：预训练

• 使用 非对称 设置。
• 输入格式：
  • 标题前加上 "سوال: "。
  • 文本前加上 "متن: "。
• 损失函数：CachedMultipleNegativesRankingLoss。

阶段 2：微调

• 损失函数：
  • CachedMultipleNegativesRankingLoss
  • CoSENTLoss
• 在多个合成数据集上使用。

📊 评估

我们在 PTEB Benchmark 上评估了我们的模型。我们的模型在 PTEB 任务中平均性能 优于 mE5-Base。

对于 检索 和 重排序 任务，我们遵循相同的非对称结构，在前面加上：

• "سوال: " 到查询语句。
• "متن: " 到文档。

PTEB 中的特定任务数据集

• 成对分类：
  • FarsTail
• 分类：
  • MassiveIntentClassification
  • MassiveScenarioClassification
  • MultilingualSentimentClassification
  • PersianFoodSentimentClassification
• 检索：
  • MIRACLRetrieval
  • NeuCLIR2023Retrieval
  • WikipediaRetrievalMultilingual
• 重排序：
  • MIRACLReranking
  • WikipediaRerankingMultilingual

📄 许可证

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup}, 
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}