All MiniLM L6 V2 Course Recommendation

🚀 SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

このモデルは、sentence-transformers/all-MiniLM-L6-v2 をファインチューニングした sentence-transformers モデルです。文章や段落を384次元の密ベクトル空間にマッピングし、意味的な文章の類似性、意味検索、パラフレーズマイニング、テキスト分類、クラスタリングなどに利用できます。

🚀 クイックスタート

このモデルを使用するには、まず Sentence Transformers ライブラリをインストールする必要があります。

pip install -U sentence-transformers

その後、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("sentence_transformers_model_id")
# 推論を実行
sentences = [
    'Mathematics for Machine Learning: PCA',
    'Cybersecurity',
    'General',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主な機能

• 文章や段落を384次元の密ベクトル空間にマッピングすることができます。
• 意味的な文章の類似性、意味検索、パラフレーズマイニング、テキスト分類、クラスタリングなどに利用できます。

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント：Sentence Transformers Documentation
• リポジトリ：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

トレーニングの詳細

トレーニングデータセット

無名データセット

• サイズ：1,424個のトレーニングサンプル
• 列：sentence_0、sentence_1、および label
• 最初の1000サンプルに基づく概算統計：

  	sentence_0	sentence_1	label
  タイプ	文字列	文字列	整数
  詳細	最小: 3トークン 平均: 8.99トークン 最大: 41トークン	最小: 3トークン 平均: 3.41トークン 最大: 6トークン	0: ~49.70% 1: ~50.30%

• サンプル：

  sentence_0	sentence_1	label
  Biostatistics in Public Health	Statistics	1
  Vital Signs: Understanding What the Body Is Telling Us	Data Science	0
  Camino a la Excelencia en Gestión de Proyectos	Cybersecurity	0

• 損失関数：ContrastiveLoss を次のパラメータで使用します。

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

トレーニングハイパーパラメータ

非デフォルトのハイパーパラメータ

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

すべてのハイパーパラメータ

フレームワークのバージョン

• Python：3.12.7
• Sentence Transformers：3.4.1
• Transformers：4.49.0
• PyTorch：2.5.1+cu124
• Accelerate：1.3.0
• Datasets：3.2.0
• Tokenizers：0.21.0

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}