Food Embeddings2

🚀 基于sentence-transformers/all-mpnet-base-v2的句子转换器

这是一个基于 sentence-transformers 从 sentence-transformers/all-mpnet-base-v2 微调而来的模型。它能将句子和段落映射到768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

✨ 主要特性

• 基于 sentence-transformers/all-mpnet-base-v2 进行微调。
• 可将句子和段落映射到768维的密集向量空间。
• 支持多种自然语言处理任务，如语义文本相似度计算、语义搜索等。

📦 安装指南

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    'Margarine, tub, light',
    'Margarine, Smart Balance Light Buttery Spread',
    'Olive Oil',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

训练详情

训练数据集

未命名数据集

• 大小：6010 个训练样本
• 列：sentence_0、sentence_1 和 sentence_2
• 基于前1000个样本的近似统计信息：

  	sentence_0	sentence_1	sentence_2
  类型	字符串	字符串	字符串
  详情	最小：3 个标记 平均：9.03 个标记 最大：30 个标记	最小：3 个标记 平均：9.62 个标记 最大：30 个标记	最小：4 个标记 平均：10.11 个标记 最大：23 个标记

• 样本：

  sentence_0	sentence_1	sentence_2
  Green banana flour “meat” (experimental)	Green banana flour “meat” (experimental)	Chicken Drumstick, Meat and Skin, Cooked, Fried, Flour
  Carrot-ginger soup	Cauliflower Carrot Soup, the Secret Garden	Cream of Potato Soup, Canned, With Milk
  Milk, 2%	Milk, 2%	Milk, Whole 3.25% Milkfat, No Added Vitamins

• 损失函数：TripletLoss，参数如下：

{
    "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
    "triplet_margin": 5
}

训练超参数

非默认超参数

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

所有超参数

训练日志

框架版本

• Python: 3.11.3
• Sentence Transformers: 3.3.1
• Transformers: 4.48.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

🔧 技术细节

模型架构

模型由 Transformer、Pooling 和 Normalize 三个模块组成。

• Transformer：使用 MPNetModel 进行特征提取。
• Pooling：将词嵌入向量进行池化操作，得到句子的表示。
• Normalize：对句子表示进行归一化处理。

训练方法

使用 TripletLoss 作为损失函数，通过三元组训练方式优化模型。

📄 许可证

文档中未提及相关许可证信息。

📚 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}