Longformer Base 4096 Sentence Transformers All Nli Stsb Quora Nq

🚀 基於allenai/longformer-base-4096的句子轉換器

這是一個基於 sentence-transformers 庫，從 allenai/longformer-base-4096 微調而來的模型。它在 all-nli-pair、all-nli-pair-class、all-nli-pair-score、all-nli-triplet、stsb、quora 和 natural-questions 等數據集上進行了訓練。該模型可以將句子和段落映射到一個768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先，安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後，你可以加載該模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("Leo1212/longformer-base-4096-sentence-transformers-all-nli-stsb-quora-nq")
# 進行推理
sentences = [
    'How do I attract a girl?',
    'How can I attract girls?',
    "Why isn't my iPhone 5 charging?",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 將句子和段落映射到768維的密集向量空間。
• 支持多種損失函數，如 MultipleNegativesRankingLoss、SoftmaxLoss 和 CoSENTLoss。
• 可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

📦 安裝指南

安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("Leo1212/longformer-base-4096-sentence-transformers-all-nli-stsb-quora-nq")
# 進行推理
sentences = [
    'How do I attract a girl?',
    'How can I attract girls?',
    "Why isn't my iPhone 5 charging?",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 4098, 'do_lower_case': False}) with Transformer model: LongformerModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

訓練詳情

訓練數據集

• all-nli-pair：數據集大小為10,000個訓練樣本，使用 MultipleNegativesRankingLoss 損失函數。
• all-nli-pair-class：數據集大小為10,000個訓練樣本，使用 SoftmaxLoss 損失函數。
• all-nli-pair-score：數據集大小為10,000個訓練樣本，使用 CoSENTLoss 損失函數。
• all-nli-triplet：數據集大小為10,000個訓練樣本，使用 MultipleNegativesRankingLoss 損失函數。
• stsb：數據集大小為5,749個訓練樣本，使用 CoSENTLoss 損失函數。
• quora：數據集大小為10,000個訓練樣本，使用 MultipleNegativesRankingLoss 損失函數。
• natural-questions：數據集大小為10,000個訓練樣本，使用 MultipleNegativesRankingLoss 損失函數。

評估數據集

• all-nli-triplet：數據集大小為6,584個評估樣本，使用 MultipleNegativesRankingLoss 損失函數。
• stsb：數據集大小為1,500個評估樣本，使用 CoSENTLoss 損失函數。
• quora：數據集大小為1,000個評估樣本，使用 MultipleNegativesRankingLoss 損失函數。
• natural-questions：數據集大小為1,000個評估樣本，使用 MultipleNegativesRankingLoss 損失函數。

訓練超參數

• 非默認超參數：
  • overwrite_output_dir: True
  • eval_strategy: steps
  • num_train_epochs: 5
  • load_best_model_at_end: True

所有超參數

訓練日誌

注：加粗行表示保存的檢查點。

框架版本

• Python：3.11.9
• Sentence Transformers：3.1.1
• Transformers：4.45.2
• PyTorch：2.3.1+cu121
• Accelerate：1.0.0
• Datasets：3.0.1
• Tokenizers：0.20.0

📄 許可證

文檔中未提及許可證信息。

🔧 技術細節

該模型基於 allenai/longformer-base-4096 進行微調，使用了多種損失函數，如 MultipleNegativesRankingLoss、SoftmaxLoss 和 CoSENTLoss。在訓練過程中，使用了多個數據集，包括 all-nli-pair、all-nli-pair-class、all-nli-pair-score、all-nli-triplet、stsb、quora 和 natural-questions。模型的輸入是句子或段落，輸出是768維的密集向量。在推理時，可以使用 SentenceTransformer 庫加載模型並進行推理。

📖 引用

BibTeX

Sentence Transformers 和 SoftmaxLoss

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}