Sentest

🚀 基於google-bert/bert-base-uncased的句子轉換器

這是一個基於 sentence-transformers 框架，從 google-bert/bert-base-uncased 微調而來的模型。它能夠將句子和段落映射到一個768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先，安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後，你可以加載這個模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("palusi/sentest")
# 運行推理
sentences = [
    'How can I open my computer if I forget my password?',
    'I forget my PC password what should I do to open it?',
    'I forgot my security code on my Nokia 206 how can I unlock it?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 多用途：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等多種自然語言處理任務。
• 微調模型：基於 google-bert/bert-base-uncased 進行微調，能更好地適應特定任務。
• 高準確率：在 sentest 數據集上的餘弦準確率達到 0.9883。

📦 安裝指南

若要使用該模型，需安裝 Sentence Transformers 庫，可通過以下命令進行安裝：

pip install -U sentence-transformers

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評估

指標

三元組

• 數據集：sentest
• 使用 TripletEvaluator 進行評估

訓練詳情

訓練數據集

qqp_triplets

• 數據集：qqp_triplets，版本為 f475d9c
• 大小：101,762 個訓練樣本
• 列：anchor、positive 和 negative
• 基於前 1000 個樣本的近似統計信息：

  	錨點	正樣本	負樣本
  類型	字符串	字符串	字符串
  詳情	最小值：6 個詞元 平均值：13.96 個詞元 最大值：54 個詞元	最小值：5 個詞元 平均值：13.99 個詞元 最大值：52 個詞元	最小值：6 個詞元 平均值：14.49 個詞元 最大值：73 個詞元

• 樣本：

  錨點	正樣本	負樣本
  Who are Mona Punjabi?	Who are Mona punjabis?	Why are Punjabis so proud of their Punjabi-hood?
  What are some of the best books on/by Bill Gates?	What are the best books of Bill Gates?	Are there any films about Bill Gates?
  Where can I get best pasta in Bangalore?	Where can I get best pasta in Bangalore ?	Where can I get best street food in Bangalore?

• 損失函數：TripletLoss，參數如下：

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

評估數據集

qqp_triplets

• 數據集：qqp_triplets，版本為 f475d9c
• 大小：101,762 個評估樣本
• 列：anchor、positive 和 negative
• 基於前 1000 個樣本的近似統計信息：

  	錨點	正樣本	負樣本
  類型	字符串	字符串	字符串
  詳情	最小值：6 個詞元 平均值：13.99 個詞元 最大值：61 個詞元	最小值：6 個詞元 平均值：13.76 個詞元 最大值：49 個詞元	最小值：6 個詞元 平均值：14.75 個詞元 最大值：78 個詞元

• 樣本：

  錨點	正樣本	負樣本
  How do l study efficiently?	How do you study effectively?	Why can't I study efficiently?
  How do you commit suicide?	What is the easiest way to commite suicide?	What is a way to commit suicide and not damaging your organs so that they can be donated?
  How do you learn to speak a foreign language?	What is the quickest way a person can learn to speak a new language fluently?	What's the easiest foreign language for a native English speaker, living in America, to learn to speak?

• 損失函數：TripletLoss，參數如下：

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

訓練超參數

非默認超參數

• eval_strategy：按步數評估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• learning_rate：2e-05
• weight_decay：0.01
• num_train_epochs：1
• warmup_ratio：0.1
• fp16：True
• load_best_model_at_end：True
• push_to_hub：True
• hub_model_id：palusi/sentest
• batch_sampler：無重複採樣

所有超參數

訓練日誌

• 加粗行表示保存的檢查點。

框架版本

• Python：3.11.11
• Sentence Transformers：3.4.1
• Transformers：4.48.2
• PyTorch：2.5.1+cu124
• Accelerate：1.3.0
• Datasets：3.2.0
• Tokenizers：0.21.0

📄 許可證

文檔中未提及相關許可證信息。

🔧 技術細節

該模型基於 google-bert/bert-base-uncased 進行微調，使用 TripletLoss 損失函數進行訓練。在訓練過程中，使用了三元組數據，通過最小化錨點與正樣本之間的距離，同時最大化錨點與負樣本之間的距離，來學習句子的嵌入表示。模型的輸出是一個 768 維的向量，可用於計算句子之間的相似度。

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}