Gte Multilingual Base V2.1 Similarity

🚀 基於BookingCare/gte-multilingual-base-v2.1的句子轉換器

這是一個基於sentence-transformers的模型，它在訓練和測試數據集上對BookingCare/gte-multilingual-base-v2.1進行了微調。該模型可以將句子和段落映射到一個768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

✨ 主要特性

• 基於BookingCare/gte-multilingual-base-v2.1模型進行微調，適用於多語言場景。
• 能夠將文本轉換為768維的向量，方便進行語義相似度計算。
• 在Triplet任務上表現出色，餘弦準確率達到0.969。

📦 安裝指南

首先，安裝Sentence Transformers庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("BookingCare/gte-multilingual-base-v2.1-similarity")
# 運行推理
sentences = [
    'Tôi muốn tìm hiểu về dịch vụ khám chữa bệnh tại phòng khám đa khoa Cầu Giấy.',
    'Cho tôi biết thông tin về phòng khám đa khoa Cầu Giấy, cụ thể là dịch vụ khám chữa bệnh.',
    'Những dịch vụ y tế nào được cung cấp tại bệnh viện Đa khoa Hà Nội?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers Documentation
• 倉庫：Sentence Transformers on GitHub
• Hugging Face：Sentence Transformers on Hugging Face

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

訓練詳情

訓練數據集

• train：

  • 數據集：train at 54473e6
  • 大小：46,571個訓練樣本
  • 列：query、answer和negative
  • 基於前1000個樣本的近似統計信息：

    	查詢	答案	負樣本
    類型	字符串	字符串	字符串
    詳情	最小：3個標記 平均：19.92個標記 最大：72個標記	最小：9個標記 平均：21.43個標記 最大：75個標記	最小：9個標記 平均：20.46個標記 最大：58個標記

  • 樣本：

    查詢	答案	負樣本
    Các bác sĩ đã đề nghị phẫu thuật để điều trị bệnh nhân bị ung thư gan giai đoạn cuối.	Bệnh nhân bị ung thư gan giai đoạn cuối đã được bác sĩ đề nghị phẫu thuật.	Bệnh nhân được chẩn đoán mắc bệnh ung thư giai đoạn cuối, và cơ hội phục hồi là rất thấp.
    Cơn đau đầu của tôi bắt đầu vào sáng nay và đã trở nên tồi tệ hơn trong suốt cả ngày.	Tôi đã phải chịu đựng cơn đau đầu dữ dội suốt cả ngày, bắt đầu từ sáng sớm.	Tôi bị đau đầu nghiêm trọng, nên làm gì?
    Mẹ tôi phải nhập viện vì bệnh tim.	Mẹ tôi bị bệnh tim và phải nhập viện để điều trị.	Bệnh nhân đã được chẩn đoán mắc bệnh tim trước đây.

  • 損失函數：TripletLoss，參數如下：

    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

• test：

  • 數據集：test at 54473e6
  • 大小：46,571個訓練樣本
  • 列：query、answer和negative
  • 基於前1000個樣本的近似統計信息：

    	查詢	答案	負樣本
    類型	字符串	字符串	字符串
    詳情	最小：3個標記 平均：20.12個標記 最大：62個標記	最小：9個標記 平均：21.51個標記 最大：54個標記	最小：9個標記 平均：20.19個標記 最大：56個標記

  • 樣本：

    查詢	答案	負樣本
    Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý	Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý	Cho tôi thông tin về bệnh ung thư vú
    Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày	Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày	Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
    Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?	Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?	Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?

  • 損失函數：TripletLoss，參數如下：

    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

評估數據集

• sts-hard-negatives：
  • 數據集：sts-hard-negatives at 54473e6
  • 大小：46,571個評估樣本
  • 列：query、answer和negative
  • 基於前1000個樣本的近似統計信息：

    	查詢	答案	負樣本
    類型	字符串	字符串	字符串
    詳情	最小：3個標記 平均：20.12個標記 最大：62個標記	最小：9個標記 平均：21.51個標記 最大：54個標記	最小：9個標記 平均：20.19個標記 最大：56個標記

  • 樣本：

    查詢	答案	負樣本
    Tôi cần tìm hiểu về bệnh u nang buồng trứng, triệu chứng, phương pháp điều trị và những lưu ý	Cho tôi biết thông tin về bệnh u nang buồng trứng, bao gồm các triệu chứng, cách điều trị và những điểm cần chú ý	Cho tôi thông tin về bệnh ung thư vú
    Tôi muốn tìm hiểu về các loại thuốc trị bệnh dạ dày	Cho tôi biết thông tin về thuốc điều trị bệnh dạ dày	Làm ơn cho tôi biết về các loại thuốc điều trị bệnh tiểu đường
    Viêm khớp tâm bình có thể bị thu hồi hoàn toàn không?	Liệu viêm khớp tâm bình có thể khỏi hẳn hay không?	Viêm khớp dạng thấp có khả năng chữa khỏi hoàn toàn hay không?

  • 損失函數：TripletLoss，參數如下：

    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

訓練超參數

• 非默認超參數：
  • eval_strategy: steps
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • num_train_epochs: 4
  • warmup_ratio: 0.1
  • fp16: True

所有超參數

訓練日誌

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.1
• Tokenizers: 0.21.0

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}