Word Order Jina

🚀 基于jinaai/jina-embeddings-v2-base-en的句子转换器

这是一个基于 sentence-transformers 的模型，它在 word_orders 和 negation_dataset 数据集上对 jinaai/jina-embeddings-v2-base-en 进行了微调。该模型可以将句子和段落映射到一个768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

本模型是基于 sentence-transformers 库的，下面将介绍如何使用它。

✨ 主要特性

• 基于 jinaai/jina-embeddings-v2-base-en 模型进行微调。
• 能够将句子和段落映射到768维的密集向量空间。
• 可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种任务。

📦 安装指南

首先，你需要安装 sentence-transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

安装好库之后，你可以加载这个模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("bwang0911/word-order-jina")
# 进行推理
sentences = [
    'Paint preserves wood',
    'Coating protects timber',
    'timber coating protects',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: JinaBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

训练详情

训练数据集

word_orders

• 数据集：word_orders，版本 99609ac
• 大小：1002 个训练样本
• 列：anchor、pos 和 neg
• 基于前1000个样本的近似统计信息：

  	anchor	pos	neg
  类型	字符串	字符串	字符串
  详情	最小：5 个词元 平均：12.34 个词元 最大：32 个词元	最小：5 个词元 平均：12.1 个词元 最大：30 个词元	最小：5 个词元 平均：11.51 个词元 最大：24 个词元

• 样本：

  anchor	pos	neg
  The river flows from the mountains to the sea	Water travels from mountain peaks to ocean	The river flows from the sea to the mountains
  Train departs London for Paris	Railway journey from London heading to Paris	Train departs Paris for London
  Cargo ship sails from Shanghai to Singapore	Maritime route Shanghai to Singapore	Cargo ship sails from Singapore to Shanghai

• 损失函数：MultipleNegativesRankingLoss，参数如下：

  {
      "scale": 20,
      "similarity_fct": "cos_sim"
  }
  

negation_dataset

• 数据集：negation_dataset，版本 cd02256
• 大小：10000 个训练样本
• 列：anchor、entailment 和 negative
• 基于前1000个样本的近似统计信息：

  	anchor	entailment	negative
  类型	字符串	字符串	字符串
  详情	最小：6 个词元 平均：16.48 个词元 最大：44 个词元	最小：4 个词元 平均：9.63 个词元 最大：31 个词元	最小：5 个词元 平均：10.46 个词元 最大：32 个词元

• 样本：

  anchor	entailment	negative
  Two young girls are playing outside in a non-urban environment.	Two girls are playing outside.	Two girls are not playing outside.
  A man with a red shirt is watching another man who is standing on top of a attached cart filled to the top.	A man is standing on top of a cart.	A man is not standing on top of a cart.
  A man in a blue shirt driving a Segway type vehicle.	A person is riding a motorized vehicle.	A person is not riding a motorized vehicle.

• 损失函数：MultipleNegativesRankingLoss，参数如下：

  {
      "scale": 20,
      "similarity_fct": "cos_sim"
  }
  

训练超参数

非默认超参数

• per_device_train_batch_size：128
• warmup_ratio：0.1
• fp16：True
• batch_sampler：no_duplicates

所有超参数

训练日志

框架版本

• Python：3.10.12
• Sentence Transformers：3.3.1
• Transformers：4.46.0
• PyTorch：2.5.1+cu124
• Accelerate：1.1.1
• Datasets：3.1.0
• Tokenizers：0.20.1

📄 许可证

文档中未提及相关许可证信息。

🔧 技术细节

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}