Food Embeddings2

🚀 基於sentence-transformers/all-mpnet-base-v2的句子轉換器

這是一個基於 sentence-transformers 從 sentence-transformers/all-mpnet-base-v2 微調而來的模型。它能將句子和段落映射到768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

✨ 主要特性

• 基於 sentence-transformers/all-mpnet-base-v2 進行微調。
• 可將句子和段落映射到768維的密集向量空間。
• 支持多種自然語言處理任務，如語義文本相似度計算、語義搜索等。

📦 安裝指南

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("sentence_transformers_model_id")
# 運行推理
sentences = [
    'Margarine, tub, light',
    'Margarine, Smart Balance Light Buttery Spread',
    'Olive Oil',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

訓練詳情

訓練數據集

未命名數據集

• 大小：6010 個訓練樣本
• 列：sentence_0、sentence_1 和 sentence_2
• 基於前1000個樣本的近似統計信息：

  	sentence_0	sentence_1	sentence_2
  類型	字符串	字符串	字符串
  詳情	最小：3 個標記 平均：9.03 個標記 最大：30 個標記	最小：3 個標記 平均：9.62 個標記 最大：30 個標記	最小：4 個標記 平均：10.11 個標記 最大：23 個標記

• 樣本：

  sentence_0	sentence_1	sentence_2
  Green banana flour “meat” (experimental)	Green banana flour “meat” (experimental)	Chicken Drumstick, Meat and Skin, Cooked, Fried, Flour
  Carrot-ginger soup	Cauliflower Carrot Soup, the Secret Garden	Cream of Potato Soup, Canned, With Milk
  Milk, 2%	Milk, 2%	Milk, Whole 3.25% Milkfat, No Added Vitamins

• 損失函數：TripletLoss，參數如下：

{
    "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
    "triplet_margin": 5
}

訓練超參數

非默認超參數

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

所有超參數

訓練日誌

框架版本

• Python: 3.11.3
• Sentence Transformers: 3.3.1
• Transformers: 4.48.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

🔧 技術細節

模型架構

模型由 Transformer、Pooling 和 Normalize 三個模塊組成。

• Transformer：使用 MPNetModel 進行特徵提取。
• Pooling：將詞嵌入向量進行池化操作，得到句子的表示。
• Normalize：對句子表示進行歸一化處理。

訓練方法

使用 TripletLoss 作為損失函數，通過三元組訓練方式優化模型。

📄 許可證

文檔中未提及相關許可證信息。

📚 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}