tags:

• sentence-transformers
• sentence-similarity
• feature-extraction
• generated_from_trainer
• dataset_size:10356
• loss:MultipleNegativesRankingLoss base_model: intfloat/multilingual-e5-large widget:
• source_sentence: ホーンバンドレッグウェアは、上部バンドに角のあるキャラクターデザインが施された、しばしば太ももまでの高さのレッグウェアの一種です。 sentences:
  • ホーンバンドレッグウェア
  • フレーム外の頭部
  • スウェットパンツ
• source_sentence: キャラクターが靴紐を結んでしっかりとした蝶結びにしている場面。 sentences:
  • ヘアタイ
  • 靴紐を結ぶ
  • 緩んだネクタイ
• source_sentence: 人物の眼鏡が通常の位置から外され、手に持たれている場合にこのタグを使用します。鼻や頭の上にまだ載っている場合は、眼鏡の調整とその関連タグを参照してください。 sentences:
  • 牛のコスチューム
  • サロン
  • 外した眼鏡を持っている
• source_sentence: キャラクターの両手が別のキャラクターの太ももに置かれている場面。 sentences:
  • ベーキング
  • 三つ子
  • 他人の太ももに手を置く
• source_sentence: 腰から突き出た長い付属肢。しばしば毛皮や鱗で覆われています。動物系少女の一般的な特徴です。 sentences:
  • しっぽ
  • グレーフレームの眼鏡
  • お腹の日 datasets:
• meandyou200175/word_embedding pipeline_tag: sentence-similarity library_name: sentence-transformers metrics:
• cosine_accuracy@1
• cosine_accuracy@2
• cosine_accuracy@5
• cosine_accuracy@10
• cosine_accuracy@100
• cosine_precision@1
• cosine_precision@2
• cosine_precision@5
• cosine_precision@10
• cosine_precision@100
• cosine_recall@1
• cosine_recall@2
• cosine_recall@5
• cosine_recall@10
• cosine_recall@100
• cosine_ndcg@10
• cosine_mrr@1
• cosine_mrr@2
• cosine_mrr@5
• cosine_mrr@10
• cosine_mrr@100
• cosine_map@100 model-index:
• name: intfloat/multilingual-e5-largeを基にしたSentenceTransformer results:
  • task: type: information-retrieval name: 情報検索 dataset: name: 不明 type: unknown metrics:
    • type: cosine_accuracy@1 value: 0.9073359073359073 name: コサイン類似度 Accuracy@1
    • type: cosine_accuracy@2 value: 0.9739382239382239 name: コサイン類似度 Accuracy@2
    • type: cosine_accuracy@5 value: 0.9942084942084942 name: コサイン類似度 Accuracy@5
    • type: cosine_accuracy@10 value: 0.999034749034749 name: コサイン類似度 Accuracy@10
    • type: cosine_accuracy@100 value: 1.0 name: コサイン類似度 Accuracy@100
    • type: cosine_precision@1 value: 0.9073359073359073 name: コサイン類似度 Precision@1
    • type: cosine_precision@2 value: 0.48696911196911197 name: コサイン類似度 Precision@2
    • type: cosine_precision@5 value: 0.19884169884169883 name: コサイン類似度 Precision@5
    • type: cosine_precision@10 value: 0.0999034749034749 name: コサイン類似度 Precision@10
    • type: cosine_precision@100 value: 0.010000000000000002 name: コサイン類似度 Precision@100
    • type: cosine_recall@1 value: 0.9073359073359073 name: コサイン類似度 Recall@1
    • type: cosine_recall@2 value: 0.9739382239382239 name: コサイン類似度 Recall@2
    • type: cosine_recall@5 value: 0.9942084942084942 name: コサイン類似度 Recall@5
    • type: cosine_recall@10 value: 0.999034749034749 name: コサイン類似度 Recall@10
    • type: cosine_recall@100 value: 1.0 name: コサイン類似度 Recall@100
    • type: cosine_ndcg@10 value: 0.9601842774877813 name: コサイン類似度 NDCG@10
    • type: cosine_mrr@1 value: 0.9073359073359073 name: コサイン類似度 MRR@1
    • type: cosine_mrr@2 value: 0.9406370656370656 name: コサイン類似度 MRR@2
    • type: cosine_mrr@5 value: 0.9462837837837839 name: コサイン類似度 MRR@5
    • type: cosine_mrr@10 value: 0.946988570202856 name: コサイン類似度 MRR@10
    • type: cosine_mrr@100 value: 0.9470763202906061 name: コサイン類似度 MRR@100
    • type: cosine_map@100 value: 0.9470763202906061 name: コサイン類似度 MAP@100

intfloat/multilingual-e5-largeを基にしたSentenceTransformer

これはintfloat/multilingual-e5-largeからファインチューニングされたsentence-transformersモデルです。文や段落を1024次元の密なベクトル空間にマッピングし、意味的なテキスト類似性、意味検索、パラフレーズマイニング、テキスト分類、クラスタリングなどに使用できます。

モデルの詳細

モデル説明

• モデルタイプ: センテンストランスフォーマー
• ベースモデル: intfloat/multilingual-e5-large
• 最大シーケンス長: 512トークン
• 出力次元数: 1024次元
• 類似度関数: コサイン類似度

モデルソース

• ドキュメント: Sentence Transformers ドキュメント
• リポジトリ: GitHub上のSentence Transformers
• Hugging Face: Hugging Face上のSentence Transformers

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方法

直接使用（Sentence Transformers）

まずSentence Transformersライブラリをインストールします：

pip install -U sentence-transformers

その後、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# Hugging Face Hubからダウンロード
model = SentenceTransformer("meandyou200175/e5_large_finetune_word")
# 推論を実行
sentences = [
    '腰から突き出た長い付属肢。しばしば毛皮や鱗で覆われています。動物系少女の一般的な特徴です。',
    'しっぽ',
    'お腹の日',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 埋め込みの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

評価

メトリクス

情報検索

• InformationRetrievalEvaluatorで評価

トレーニング詳細

トレーニングデータセット

無名データセット

• サイズ: 10,356トレーニングサンプル
• 列: query と positive
• 最初の1000サンプルに基づくおおよその統計:

  	query	positive
  type	string	string
  details	min: 3トークン mean: 36.54トークン max: 177トークン	min: 3トークン mean: 5.3トークン max: 13トークン

• サンプル:

  query	positive
  半円形の形状をした眼鏡。	半円形の眼鏡
  髪を乾かしスタイリングするための手持ち式電気器具。	ヘアドライヤー
  片方の胸が露出しているが、もう片方が衣服で覆われているか隠されている場面。両方の胸が露出している場合はbreasts outタグを参照。	片方の胸が露出

• 損失: MultipleNegativesRankingLoss 以下のパラメータで:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

評価データセット

word_embedding

• データセット: word_embedding at af76b11
• サイズ: 1,036評価サンプル
• 列: query と positive
• 最初の1000サンプルに基づくおおよその統計:

  	query	positive
  type	string	string
  details	min: 4トークン mean: 35.89トークン max: 164トークン	min: 3トークン mean: 5.38トークン max: 14トークン

• サンプル:

  query	positive
  命令リストに従ってデータを操作する機械。プログラムと呼ばれる命令リストを保存・実行する能力により、コンピュータは非常に汎用性が高い。Danbooruの画像では、主に描画、ゲームプレイ、インターネットアクセスに使用されています。	コンピュータ
  2つのクラブが描かれたトランプ。	クラブの2
  Yebisu（エビス）はサッポロビールが製造するビールです。1890年に東京で日本ビール醸造会社によって最初に醸造された、日本最古のブランドの一つです。	エビス

• 損失: MultipleNegativesRankingLoss 以下のパラメータで:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

トレーニングハイパーパラメータ

非デフォルトハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

トレーニングログ

フレームワークバージョン

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.51.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.5.0
• Tokenizers: 0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}