E5 Large Finetune Word

🚀 基於intfloat/multilingual-e5-large的句子轉換器

這是一個基於 sentence-transformers 庫，從 intfloat/multilingual-e5-large 微調而來的模型。它可以將句子和段落映射到一個1024維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先，安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後，你可以加載該模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 Hugging Face Hub 下載模型
model = SentenceTransformer("meandyou200175/e5_large_finetune_word")
# 進行推理
sentences = [
    'A long appendage protruding from the lower back. Often covered in fur or scales. A common feature of animal girls.',
    'tail',
    'stomach day',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 基於 intfloat/multilingual-e5-large 微調，具有良好的多語言處理能力。
• 能夠將句子和段落映射到1024維的密集向量空間，可用於多種自然語言處理任務。

📦 安裝指南

安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 Hugging Face Hub 下載模型
model = SentenceTransformer("meandyou200175/e5_large_finetune_word")
# 進行推理
sentences = [
    'A long appendage protruding from the lower back. Often covered in fur or scales. A common feature of animal girls.',
    'tail',
    'stomach day',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 代碼倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

信息檢索

使用 InformationRetrievalEvaluator 進行評估：

訓練詳情

訓練數據集

未命名數據集

• 大小：10,356 個訓練樣本
• 列：query 和 positive
• 基於前1000個樣本的近似統計信息：

  	查詢	正樣本
  類型	字符串	字符串
  詳情	最小：3 個詞元 平均：36.54 個詞元 最大：177 個詞元	最小：3 個詞元 平均：5.3 個詞元 最大：13 個詞元

• 樣本：

  查詢	正樣本
  Eyewear shaped like a semicircle.	semi-circular eyewear
  A handheld electric appliance used fordryingand styling hair.	hair dryer
  When onebreastis exposed while the other remains covered or confined by clothing. Seebreasts outfor when both breasts are exposed.	one breast out

• 損失函數：MultipleNegativesRankingLoss，參數如下：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

評估數據集

word_embedding

• 數據集：word_embedding，版本 af76b11
• 大小：1,036 個評估樣本
• 列：query 和 positive
• 基於前1000個樣本的近似統計信息：

  	查詢	正樣本
  類型	字符串	字符串
  詳情	最小：4 個詞元 平均：35.89 個詞元 最大：164 個詞元	最小：3 個詞元 平均：5.38 個詞元 最大：14 個詞元

• 樣本：

  查詢	正樣本
  A machine that manipulates data according to a list of instructions. The ability to store and execute lists of instructions called programs make computers extremely versatile. On Danbooru's images they are most often used fordrawing,playing gamesand accessing theinternet.	computer
  Aplaying cardwith twoclubs.	two of clubs
  Yebisu (ヱビス, Ebisu) is a beer produced bySapporo Breweries. It is one of Japan's oldest brands, first being brewed in Tokyo in 1890 by the Japan Beer Brewery Company.	yebisu

• 損失函數：MultipleNegativesRankingLoss，參數如下：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

所有超參數

訓練日誌

框架版本

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.51.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.5.0
• Tokenizers: 0.21.0

🔧 技術細節

該模型基於 Sentence Transformers 庫，從 intfloat/multilingual-e5-large 微調而來。使用了 MultipleNegativesRankingLoss 損失函數進行訓練，通過將句子和段落映射到1024維的密集向量空間，實現語義文本相似度計算等任務。

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}