Gte Multilingual Base V2.1 Similarity

🚀 BookingCare/gte-multilingual-base-v2.1に基づくSentenceTransformer

このモデルは、BookingCare/gte-multilingual-base-v2.1をtrainとtestのデータセットで微調整したsentence-transformersモデルです。文章や段落を768次元の密ベクトル空間にマッピングし、意味的な文章の類似性、意味的な検索、言い換えのマイニング、文章分類、クラスタリングなどに使用できます。

🚀 クイックスタート

このモデルは、文章や段落を768次元の密ベクトル空間にマッピングすることができ、意味的な文章の類似性、意味的な検索、言い換えのマイニング、文章分類、クラスタリングなどのタスクに使用できます。

✨ 主な機能

• 文章や段落を768次元の密ベクトル空間にマッピングすることができます。
• 意味的な文章の類似性、意味的な検索、言い換えのマイニング、文章分類、クラスタリングなどのタスクに使用できます。

📦 インストール

まず、Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("BookingCare/gte-multilingual-base-v2.1-similarity")
# 推論を実行
sentences = [
    'Tôi muốn tìm hiểu về dịch vụ khám chữa bệnh tại phòng khám đa khoa Cầu Giấy.',
    'Cho tôi biết thông tin về phòng khám đa khoa Cầu Giấy, cụ thể là dịch vụ khám chữa bệnh.',
    'Những dịch vụ y tế nào được cung cấp tại bệnh viện Đa khoa Hà Nội?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評価

指標

Triplet

• TripletEvaluatorを使用して評価

学習の詳細

学習データセット

train

• データセット: train at 54473e6
• サイズ: 46,571個の学習サンプル
• 列: query、answer、negative
• 最初の1000サンプルに基づく概算統計情報:

  	query	answer	negative
  タイプ	string	string	string
  詳細	最小: 3トークン 平均: 19.92トークン 最大: 72トークン	最小: 9トークン 平均: 21.43トークン 最大: 75トークン	最小: 9トークン 平均: 20.46トークン 最大: 58トークン

• サンプル:

  query	answer	negative
  Các bác sĩ đã đề nghị phẫu thuật để điều trị bệnh nhân bị ung thư gan giai đoạn cuối.	Bệnh nhân bị ung thư gan giai đoạn cuối đã được bác sĩ đề nghị phẫu thuật.	Bệnh nhân được chẩn đoán mắc bệnh ung thư giai đoạn cuối, và cơ hội phục hồi là rất thấp.
  Cơn đau đầu của tôi bắt đầu vào sáng nay và đã trở nên tồi tệ hơn trong suốt cả ngày.	Tôi đã phải chịu đựng cơn đau đầu dữ dội suốt cả ngày, bắt đầu từ sáng sớm.	Tôi bị đau đầu nghiêm trọng, nên làm gì?
  Mẹ tôi phải nhập viện vì bệnh tim.	Mẹ tôi bị bệnh tim và phải nhập viện để điều trị.	Bệnh nhân đã được chẩn đoán mắc bệnh tim trước đây.

• 損失関数: TripletLoss 以下のパラメータで:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

test

• データセット: test at 54473e6
• サイズ: 46,571個の学習サンプル
• 列: query、answer、negative
• 最初の1000サンプルに基づく概算統計情報:

  	query	answer	negative
  タイプ	string	string	string
  詳細	最小: 3トークン 平均: 20.12トークン 最大: 62トークン	最小: 9トークン 平均: 21.51トークン 最大: 54トークン	最小: 9トークン 平均: 20.19トークン 最大: 56トークン

• サンプル:

  query	answer	negative
  Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý	Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý	Cho tôi thông tin về bệnh ung thư vú
  Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày	Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày	Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
  Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?	Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?	Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?

• 損失関数: TripletLoss 以下のパラメータで:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

評価データセット

sts-hard-negatives

• データセット: sts-hard-negatives at 54473e6
• サイズ: 46,571個の評価サンプル
• 列: query、answer、negative
• 最初の1000サンプルに基づく概算統計情報:

  	query	answer	negative
  タイプ	string	string	string
  詳細	最小: 3トークン 平均: 20.12トークン 最大: 62トークン	最小: 9トークン 平均: 21.51トークン 最大: 54トークン	最小: 9トークン 平均: 20.19トークン 最大: 56トークン

• サンプル:

  query	answer	negative
  Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý	Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý	Cho tôi thông tin về bệnh ung thư vú
  Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày	Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày	Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
  Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?	Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?	Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?

• 損失関数: TripletLoss 以下のパラメータで:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

学習ハイパーパラメータ

デフォルトではないハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True

すべてのハイパーパラメータ

学習ログ

フレームワークのバージョン

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.1
• Tokenizers: 0.21.0

📄 ライセンス

詳細は提供されていません。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}