Tooka SBERT V2 Large

🚀 Tooka-SBERT-V2-Large

Tooka-SBERT-V2-Large 是一個用於語義文本相似度和嵌入任務的句子轉換器模型。它能將句子和段落映射到一個密集向量空間，在這個空間中，語義相似的文本距離相近。該模型有 小型 和 大型 兩種規格。

🚀 快速開始

本模型是一個經過訓練的句子轉換器模型，用於語義文本相似度和嵌入任務。它可以將句子和段落映射到一個密集向量空間，在該空間中語義相似的文本距離較近。

直接使用（Sentence Transformers）

首先安裝 Sentence Transformers 庫：

pip install sentence-transformers==3.4.1

然後，你可以加載此模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("PartAI/Tooka-SBERT-V2-Large")
# 運行推理
sentences = [
    'درنا از پرندگان مهاجر با پاهای بلند و گردن دراز است.',
    'درناها با قامتی بلند و بال‌های پهن، از زیباترین پرندگان مهاجر به شمار می‌روند.',
    'درناها پرندگانی کوچک با پاهای کوتاه هستند که مهاجرت نمی‌کنند.'
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 獲取嵌入的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

🔧 技術細節

該模型的訓練分為兩個階段：

階段 1：預訓練

• 使用 非對稱 設置。
• 輸入格式：
  • 標題前加上 "سوال: "
  • 文本前加上 "متن: "
• 損失函數：CachedMultipleNegativesRankingLoss

階段 2：微調

• 損失函數：
  • CachedMultipleNegativesRankingLoss
  • CoSENTLoss
• 在多個合成數據集上進行訓練

📊 評估

我們在 PTEB 基準測試 上對模型進行了評估。該模型在 PTEB 任務中的平均表現優於 mE5-Base。

對於 檢索 和 重排序 任務，我們遵循相同的非對稱結構，在查詢前加上 "سوال: "，在文檔前加上 "متن: "。

PTEB 中的特定任務數據集

• 成對分類：
  • FarsTail
• 分類：
  • MassiveIntentClassification
  • MassiveScenarioClassification
  • MultilingualSentimentClassification
  • PersianFoodSentimentClassification
• 檢索：
  • MIRACLRetrieval
  • NeuCLIR2023Retrieval
  • WikipediaRetrievalMultilingual
• 重排序：
  • MIRACLReranking
  • WikipediaRerankingMultilingual

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup}, 
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}