Veriscrape Book Test Sbert Bs128 Lr5e 05 Ep3 Euclidean Sntrue Spfalse Hn1

🚀 基於Alibaba-NLP/gte-base-en-v1.5的句子轉換器

這是一個基於Alibaba-NLP/gte-base-en-v1.5微調的sentence-transformers模型。它可以將句子和段落映射到768維的密集向量空間，可用於語義文本相似度、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

本模型可用於語義文本相似度、語義搜索、釋義挖掘、文本分類、聚類等任務。以下將介紹如何安裝依賴庫並使用該模型進行推理。

✨ 主要特性

• 高維向量映射：將句子和段落映射到768維的密集向量空間。
• 多任務支持：可用於語義文本相似度、語義搜索、釋義挖掘、文本分類、聚類等多種任務。

📦 安裝指南

首先，你需要安裝Sentence Transformers庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

安裝完成後，你可以加載模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("albertus-sussex/veriscrape-book-test-sbert-bs128_lr5e-05_ep3_euclidean_snTrue_spFalse_hn1")
# 進行推理
sentences = [
    'Midnight',
    'The Bone Parade',
    '12/01/2005',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers文檔
• 代碼倉庫：GitHub上的Sentence Transformers
• Hugging Face：Hugging Face上的Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評估

三元組評估

使用TripletEvaluator進行評估：

輪廓係數評估

使用 veriscrape.training.SilhouetteEvaluator 進行評估：

再次三元組評估

使用TripletEvaluator進行評估：

再次輪廓係數評估

使用 veriscrape.training.SilhouetteEvaluator 進行評估：

訓練詳情

訓練數據集

• 未命名數據集
  • 規模：84,524個訓練樣本
  • 列名：anchor、positive、negative、pos_attr_name 和 neg_attr_name
  • 基於前1000個樣本的近似統計信息：

    	anchor	positive	negative	pos_attr_name	neg_attr_name
    類型	字符串	字符串	字符串	字符串	字符串
    詳情	最小值：3個詞元 平均值：6.97個詞元 最大值：37個詞元	最小值：3個詞元 平均值：7.09個詞元 最大值：28個詞元	最小值：3個詞元 平均值：6.31個詞元 最大值：23個詞元	最小值：3個詞元 平均值：3.77個詞元 最大值：5個詞元	最小值：3個詞元 平均值：3.8個詞元 最大值：5個詞元

  • 樣本示例：

    anchor	positive	negative	pos_attr_name	neg_attr_name
    09/01/1997	12/01/1977	2010	publication_date	title
    9780060275730	9780829748772	HarperCollins Publishers Ltd	isbn_13	publisher
    9780609809648	9780764551956	HarperCollins Publishers	isbn_13	author

  • 損失函數：veriscrape.training.AttributeTripletLoss，參數如下：

    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

評估數據集

• 未命名數據集
  • 規模：9,392個評估樣本
  • 列名：anchor、positive、negative、pos_attr_name 和 neg_attr_name
  • 基於前1000個樣本的近似統計信息：

    	anchor	positive	negative	pos_attr_name	neg_attr_name
    類型	字符串	字符串	字符串	字符串	字符串
    詳情	最小值：3個詞元 平均值：6.85個詞元 最大值：27個詞元	最小值：3個詞元 平均值：6.98個詞元 最大值：44個詞元	最小值：3個詞元 平均值：6.08個詞元 最大值：18個詞元	最小值：3個詞元 平均值：3.75個詞元 最大值：5個詞元	最小值：3個詞元 平均值：3.8個詞元 最大值：5個詞元

  • 樣本示例：

    anchor	positive	negative	pos_attr_name	neg_attr_name
    9780764200564	: 9780590458467	1984	isbn_13	publication_date
    Penguin Group USA	Signet	9781600243912	publisher	isbn_13
    Alphabet Juice	Space	9780807871133	title	isbn_13

  • 損失函數：veriscrape.training.AttributeTripletLoss，參數如下：

    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

訓練超參數

非默認超參數

• eval_strategy：按輪次評估
• per_device_train_batch_size：128
• per_device_eval_batch_size：128
• warmup_ratio：0.1

所有超參數

訓練日誌

框架版本

• Python：3.10.16
• Sentence Transformers：3.4.1
• Transformers：4.45.2
• PyTorch：2.5.1+cu124
• Accelerate：1.5.2
• Datasets：3.1.0
• Tokenizers：0.20.3

📄 許可證

文檔中未提及相關許可證信息。

🔧 技術細節

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

AttributeTripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}