Word Order Jina

🚀 基於jinaai/jina-embeddings-v2-base-en的句子轉換器

這是一個基於 sentence-transformers 的模型，它在 word_orders 和 negation_dataset 數據集上對 jinaai/jina-embeddings-v2-base-en 進行了微調。該模型可以將句子和段落映射到一個768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

本模型是基於 sentence-transformers 庫的，下面將介紹如何使用它。

✨ 主要特性

• 基於 jinaai/jina-embeddings-v2-base-en 模型進行微調。
• 能夠將句子和段落映射到768維的密集向量空間。
• 可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等多種任務。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

安裝好庫之後，你可以加載這個模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("bwang0911/word-order-jina")
# 進行推理
sentences = [
    'Paint preserves wood',
    'Coating protects timber',
    'timber coating protects',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: JinaBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

訓練詳情

訓練數據集

word_orders

• 數據集：word_orders，版本 99609ac
• 大小：1002 個訓練樣本
• 列：anchor、pos 和 neg
• 基於前1000個樣本的近似統計信息：

  	anchor	pos	neg
  類型	字符串	字符串	字符串
  詳情	最小：5 個詞元 平均：12.34 個詞元 最大：32 個詞元	最小：5 個詞元 平均：12.1 個詞元 最大：30 個詞元	最小：5 個詞元 平均：11.51 個詞元 最大：24 個詞元

• 樣本：

  anchor	pos	neg
  The river flows from the mountains to the sea	Water travels from mountain peaks to ocean	The river flows from the sea to the mountains
  Train departs London for Paris	Railway journey from London heading to Paris	Train departs Paris for London
  Cargo ship sails from Shanghai to Singapore	Maritime route Shanghai to Singapore	Cargo ship sails from Singapore to Shanghai

• 損失函數：MultipleNegativesRankingLoss，參數如下：

  {
      "scale": 20,
      "similarity_fct": "cos_sim"
  }
  

negation_dataset

• 數據集：negation_dataset，版本 cd02256
• 大小：10000 個訓練樣本
• 列：anchor、entailment 和 negative
• 基於前1000個樣本的近似統計信息：

  	anchor	entailment	negative
  類型	字符串	字符串	字符串
  詳情	最小：6 個詞元 平均：16.48 個詞元 最大：44 個詞元	最小：4 個詞元 平均：9.63 個詞元 最大：31 個詞元	最小：5 個詞元 平均：10.46 個詞元 最大：32 個詞元

• 樣本：

  anchor	entailment	negative
  Two young girls are playing outside in a non-urban environment.	Two girls are playing outside.	Two girls are not playing outside.
  A man with a red shirt is watching another man who is standing on top of a attached cart filled to the top.	A man is standing on top of a cart.	A man is not standing on top of a cart.
  A man in a blue shirt driving a Segway type vehicle.	A person is riding a motorized vehicle.	A person is not riding a motorized vehicle.

• 損失函數：MultipleNegativesRankingLoss，參數如下：

  {
      "scale": 20,
      "similarity_fct": "cos_sim"
  }
  

訓練超參數

非默認超參數

• per_device_train_batch_size：128
• warmup_ratio：0.1
• fp16：True
• batch_sampler：no_duplicates

所有超參數

訓練日誌

框架版本

• Python：3.10.12
• Sentence Transformers：3.3.1
• Transformers：4.46.0
• PyTorch：2.5.1+cu124
• Accelerate：1.1.1
• Datasets：3.1.0
• Tokenizers：0.20.1

📄 許可證

文檔中未提及相關許可證信息。

🔧 技術細節

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}