Scibert Nli

🚀 SciBERT-NLI

SciBERT-NLI 是基於 SciBERT [1] 模型微調得到的。它在 SNLI 和 MultiNLI 數據集上進行訓練，藉助 sentence-transformers 庫 生成通用的句子嵌入 [2]。本模型可用於科學論文的檢索等自然語言處理任務。

🚀 快速開始

本模型使用原始的 scivocab 詞片詞彙表，並採用平均池化策略和softmax損失函數進行訓練。

✨ 主要特性

• 基於預訓練的 SciBERT 模型，在科學文本處理上有良好表現。
• 利用 SNLI 和 MultiNLI 數據集進行微調，生成通用的句子嵌入。
• 採用平均池化策略和 softmax 損失函數，保證模型訓練效果。

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

在 Covid Papers Browser 倉庫中提供了基於相似度的科學論文檢索的使用示例。

📚 詳細文檔

模型信息

性能評估

在 STS 數據集 的測試部分使用 Spearman 秩相關係數評估模型性能，並與通過相同流程得到的通用 BERT 基礎模型的性能進行比較，以驗證它們的相似性。

🔧 技術細節

文檔未提供詳細的技術實現細節，暫不展示。

📄 許可證

文檔未提及許可證信息，暫不展示。

📚 參考文獻

[1] I. Beltagy 等人, SciBERT: A Pretrained Language Model for Scientific Text [2] A. Conneau 等人, Supervised Learning of Universal Sentence Representations from Natural Language Inference Data [3] N. Reimers 和 I. Gurevych, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks