Tooka SBERT V2 Small

🚀 Tooka-SBERT-V2-Small

このモデルは、意味的なテキストの類似性と埋め込みタスクのために学習されたSentence Transformersモデルです。文章や段落を密なベクトル空間にマッピングし、意味的に類似したテキストは近くに配置されます。

このモデルは、Small と Large の2つのサイズで学習されています。

🚀 クイックスタート

直接使用（Sentence Transformers）

まず、Sentence Transformersライブラリをインストールします。

pip install sentence-transformers==3.4.1

次に、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("PartAI/Tooka-SBERT-V2-Small")
# 推論を実行
sentences = [
    'درنا از پرندگان مهاجر با پاهای بلند و گردن دراز است.',
    'درناها با قامتی بلند و بال‌های پهن، از زیباترین پرندگان مهاجر به شمار می‌روند.',
    'درناها پرندگانی کوچک با پاهای کوتاه هستند که مهاجرت نمی‌کنند.'
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

🔧 技術詳細

学習は2段階で行われます。

1. 事前学習：Targoman News データセットで行います。
2. 微調整：複数の合成データセットで行います。

第1段階：事前学習

• 非対称な設定を使用します。
• 入力のフォーマット：
  • タイトルの前に "سوال: " を付けます。
  • テキストの前に "متن: " を付けます。
• 損失関数：CachedMultipleNegativesRankingLoss

第2段階：微調整

• 損失関数：
  • CachedMultipleNegativesRankingLoss
  • CoSENTLoss
• 複数の合成データセットで使用されます。

📚 ドキュメント

📊 評価

私たちは、PTEB Benchmark でモデルを評価しました。当モデルは、PTEBタスク全体で平均してmE5-Baseを上回っています。

検索 および 再ランキング タスクでは、同じ非対称構造を使用し、次のように前置詞を付けます。

• クエリに "سوال: " を付けます。
• ドキュメントに "متن: " を付けます。

PTEBにおけるタスク固有のデータセット

• ペア分類：

  • FarsTail

• 分類：

  • MassiveIntentClassification
  • MassiveScenarioClassification
  • MultilingualSentimentClassification
  • PersianFoodSentimentClassification

• 検索：

  • MIRACLRetrieval
  • NeuCLIR2023Retrieval
  • WikipediaRetrievalMultilingual

• 再ランキング：

  • MIRACLReranking
  • WikipediaRerankingMultilingual

📄 ライセンス

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup}, 
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}