Veriscrape Book Test Sbert Bs128 Lr5e 05 Ep3 Euclidean Sntrue Spfalse Hn1

🚀 Alibaba-NLP/gte-base-en-v1.5をベースとしたSentenceTransformer

このモデルは、Alibaba-NLP/gte-base-en-v1.5 をファインチューニングした sentence-transformers モデルです。文章や段落を768次元の密ベクトル空間にマッピングし、文書の意味的類似性、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどに利用できます。

🚀 クイックスタート

このセクションでは、モデルの基本的な使い方を説明します。まずは必要なライブラリをインストールし、モデルをロードして推論を実行しましょう。

✨ 主な機能

• 文章や段落を768次元の密ベクトル空間にマッピングすることができます。
• 文書の意味的類似性、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどのタスクに利用できます。

📦 インストール

まずは、Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("albertus-sussex/veriscrape-book-test-sbert-bs128_lr5e-05_ep3_euclidean_snTrue_spFalse_hn1")
# 推論を実行
sentences = [
    'Midnight',
    'The Bone Parade',
    '12/01/2005',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント：Sentence Transformers Documentation
• リポジトリ：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評価

指標

トリプレット

• TripletEvaluator で評価

シルエット

• veriscrape.training.SilhouetteEvaluator で評価

トリプレット

• TripletEvaluator で評価

シルエット

• veriscrape.training.SilhouetteEvaluator で評価

学習の詳細

学習データセット

無名データセット

• サイズ：84,524個の学習サンプル
• 列：anchor、positive、negative、pos_attr_name、neg_attr_name
• 最初の1000サンプルに基づく概算統計情報：

  	anchor	positive	negative	pos_attr_name	neg_attr_name
  型	文字列	文字列	文字列	文字列	文字列
  詳細	最小：3トークン 平均：6.97トークン 最大：37トークン	最小：3トークン 平均：7.09トークン 最大：28トークン	最小：3トークン 平均：6.31トークン 最大：23トークン	最小：3トークン 平均：3.77トークン 最大：5トークン	最小：3トークン 平均：3.8トークン 最大：5トークン

• サンプル：

  anchor	positive	negative	pos_attr_name	neg_attr_name
  09/01/1997	12/01/1977	2010	publication_date	title
  9780060275730	9780829748772	HarperCollins Publishers Ltd	isbn_13	publisher
  9780609809648	9780764551956	HarperCollins Publishers	isbn_13	author

• 損失関数：veriscrape.training.AttributeTripletLoss （以下のパラメータで）

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

評価データセット

無名データセット

• サイズ：9,392個の評価サンプル
• 列：anchor、positive、negative、pos_attr_name、neg_attr_name
• 最初の1000サンプルに基づく概算統計情報：

  	anchor	positive	negative	pos_attr_name	neg_attr_name
  型	文字列	文字列	文字列	文字列	文字列
  詳細	最小：3トークン 平均：6.85トークン 最大：27トークン	最小：3トークン 平均：6.98トークン 最大：44トークン	最小：3トークン 平均：6.08トークン 最大：18トークン	最小：3トークン 平均：3.75トークン 最大：5トークン	最小：3トークン 平均：3.8トークン 最大：5トークン

• サンプル：

  anchor	positive	negative	pos_attr_name	neg_attr_name
  9780764200564	: 9780590458467	1984	isbn_13	publication_date
  Penguin Group USA	Signet	9781600243912	publisher	isbn_13
  Alphabet Juice	Space	9780807871133	title	isbn_13

• 損失関数：veriscrape.training.AttributeTripletLoss （以下のパラメータで）

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

学習ハイパーパラメータ

デフォルトではないハイパーパラメータ

• eval_strategy: epoch
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• warmup_ratio: 0.1

すべてのハイパーパラメータ

学習ログ

フレームワークのバージョン

• Python: 3.10.16
• Sentence Transformers: 3.4.1
• Transformers: 4.45.2
• PyTorch: 2.5.1+cu124
• Accelerate: 1.5.2
• Datasets: 3.1.0
• Tokenizers: 0.20.3

📄 ライセンス

原READMEにライセンス情報は記載されていません。

🔖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

AttributeTripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}