Gte Multilingual Base V2.1 Similarity

🚀 SentenceTransformer based on BookingCare/gte-multilingual-base-v2.1

This is a sentence-transformers model finetuned from BookingCare/gte-multilingual-base-v2.1 on the train and test datasets. It maps sentences & paragraphs to a 768 - dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

✨ Features

• Maps sentences and paragraphs to a 768 - dimensional dense vector space.
• Applicable for various NLP tasks such as semantic textual similarity, semantic search, etc.

📦 Installation

First install the Sentence Transformers library:

pip install -U sentence-transformers

💻 Usage Examples

Basic Usage

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("BookingCare/gte-multilingual-base-v2.1-similarity")
# Run inference
sentences = [
    'Tôi muốn tìm hiểu về dịch vụ khám chữa bệnh tại phòng khám đa khoa Cầu Giấy.',
    'Cho tôi biết thông tin về phòng khám đa khoa Cầu Giấy, cụ thể là dịch vụ khám chữa bệnh.',
    'Những dịch vụ y tế nào được cung cấp tại bệnh viện Đa khoa Hà Nội?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 Documentation

Model Details

Model Description

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

🔧 Technical Details

Evaluation

Metrics

Triplet

• Evaluated with TripletEvaluator

Training Details

Training Datasets

train

• Dataset: train at 54473e6
• Size: 46,571 training samples
• Columns: query, answer, and negative
• Approximate statistics based on the first 1000 samples:

  	query	answer	negative
  type	string	string	string
  details	min: 3 tokens mean: 19.92 tokens max: 72 tokens	min: 9 tokens mean: 21.43 tokens max: 75 tokens	min: 9 tokens mean: 20.46 tokens max: 58 tokens

• Samples:

  query	answer	negative
  Các bác sĩ đã đề nghị phẫu thuật để điều trị bệnh nhân bị ung thư gan giai đoạn cuối.	Bệnh nhân bị ung thư gan giai đoạn cuối đã được bác sĩ đề nghị phẫu thuật.	Bệnh nhân được chẩn đoán mắc bệnh ung thư giai đoạn cuối, và cơ hội phục hồi là rất thấp.
  Cơn đau đầu của tôi bắt đầu vào sáng nay và đã trở nên tồi tệ hơn trong suốt cả ngày.	Tôi đã phải chịu đựng cơn đau đầu dữ dội suốt cả ngày, bắt đầu từ sáng sớm.	Tôi bị đau đầu nghiêm trọng, nên làm gì?
  Mẹ tôi phải nhập viện vì bệnh tim.	Mẹ tôi bị bệnh tim và phải nhập viện để điều trị.	Bệnh nhân đã được chẩn đoán mắc bệnh tim trước đây.

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

test

• Dataset: test at 54473e6
• Size: 46,571 training samples
• Columns: query, answer, and negative
• Approximate statistics based on the first 1000 samples:

  	query	answer	negative
  type	string	string	string
  details	min: 3 tokens mean: 20.12 tokens max: 62 tokens	min: 9 tokens mean: 21.51 tokens max: 54 tokens	min: 9 tokens mean: 20.19 tokens max: 56 tokens

• Samples:

  query	answer	negative
  Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý	Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý	Cho tôi thông tin về bệnh ung thư vú
  Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày	Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày	Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
  Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?	Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?	Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Evaluation Dataset

sts-hard-negatives

• Dataset: sts-hard-negatives at 54473e6
• Size: 46,571 evaluation samples
• Columns: query, answer, and negative
• Approximate statistics based on the first 1000 samples:

  	query	answer	negative
  type	string	string	string
  details	min: 3 tokens mean: 20.12 tokens max: 62 tokens	min: 9 tokens mean: 21.51 tokens max: 54 tokens	min: 9 tokens mean: 20.19 tokens max: 56 tokens

• Samples:

  query	answer	negative
  Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý	Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý	Cho tôi thông tin về bệnh ung thư vú
  Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày	Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày	Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
  Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?	Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?	Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non - Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters