tags:

• sentence-transformers
• sentence-similarity
• feature-extraction
• generated_from_trainer
• dataset_size:6010
• loss:TripletLoss base_model: sentence-transformers/all-mpnet-base-v2 widget:
• source_sentence: 卵白、スクランブル sentences:
  • 桃、冷凍、スライス、甘味料入り
  • 卵白代替品、ロプロフィン
  • レモン、くし形切り（通常ガーニッシュ）
• source_sentence: クラッカー、ソーダクラッカー sentences:
  • クラッカー、ソーダクラッカー
  • クラッカー、ソーダクラッカー、全粒粉
  • ループス、ロプロフィン
• source_sentence: シリアル、コーンフレーク sentences:
  • 小麦粉、全粒粉、軟質小麦
  • シリアル、ラルストンコーンフレーク
  • ソルガム穀物
• source_sentence: バッファローウィング、ホットソース、セロリ sentences:
  • キャラメルコーン（コーン由来のタンパク質あり、量に注意）
  • ソース、ホットチリ・シラチャ
  • ソース、ホットチリ、トゥオンオット・シラチャ・シラチャ
• source_sentence: マーガリン、チューブ、ライト sentences:
  • オリーブオイル
  • マーガリン、スマートバランス・ライト・バタリースプレッド
  • 玉ねぎ、黄、ソテー pipeline_tag: sentence-similarity library_name: sentence-transformers

sentence-transformers/all-mpnet-base-v2ベースのSentenceTransformer

これはsentence-transformersのモデルで、sentence-transformers/all-mpnet-base-v2からファインチューニングされました。文や段落を768次元の密なベクトル空間にマッピングし、意味的なテキスト類似性、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどに使用できます。

モデル詳細

モデル説明

• モデルタイプ: センテンストランスフォーマー
• ベースモデル: sentence-transformers/all-mpnet-base-v2
• 最大シーケンス長: 384トークン
• 出力次元数: 768次元
• 類似度関数: コサイン類似度

モデルソース

• ドキュメント: Sentence Transformersドキュメント
• リポジトリ: GitHubのSentence Transformers
• Hugging Face: Hugging FaceのSentence Transformers

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方法

直接使用（Sentence Transformers）

まずSentence Transformersライブラリをインストールします：

pip install -U sentence-transformers

その後、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("sentence_transformers_model_id")
# 推論実行
sentences = [
    'マーガリン、チューブ、ライト',
    'マーガリン、スマートバランス・ライト・バタリースプレッド',
    'オリーブオイル',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

トレーニング詳細

トレーニングデータセット

無名データセット

• サイズ: 6,010トレーニングサンプル
• 列: sentence_0, sentence_1, sentence_2
• 最初の1000サンプルに基づくおおよその統計:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	最小: 3トークン 平均: 9.03トークン 最大: 30トークン	最小: 3トークン 平均: 9.62トークン 最大: 30トークン	最小: 4トークン 平均: 10.11トークン 最大: 23トークン

• サンプル:

  sentence_0	sentence_1	sentence_2
  グリーンバナナ粉「肉」（実験的）	グリーンバナナ粉「肉」（実験的）	チキンドラムスティック、肉と皮、調理済み、揚げ、小麦粉
  人参と生姜のスープ	カリフラワー人参スープ、ザ・シークレットガーデン	ポテトクリームスープ、缶詰、牛乳入り
  牛乳、2%	牛乳、2%	牛乳、全乳3.25%乳脂肪、ビタミン無添加

• 損失: TripletLoss 以下のパラメータで:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

トレーニングハイパーパラメータ

非デフォルトハイパーパラメータ

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

全ハイパーパラメータ

トレーニングログ

フレームワークバージョン

• Python: 3.11.3
• Sentence Transformers: 3.3.1
• Transformers: 4.48.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}