Scibert Nli

🚀 SciBERT-NLI

SciBERT-NLI 是基于 SciBERT [1] 模型微调得到的。它在 SNLI 和 MultiNLI 数据集上进行训练，借助 sentence-transformers 库 生成通用的句子嵌入 [2]。本模型可用于科学论文的检索等自然语言处理任务。

🚀 快速开始

本模型使用原始的 scivocab 词片词汇表，并采用平均池化策略和softmax损失函数进行训练。

✨ 主要特性

• 基于预训练的 SciBERT 模型，在科学文本处理上有良好表现。
• 利用 SNLI 和 MultiNLI 数据集进行微调，生成通用的句子嵌入。
• 采用平均池化策略和 softmax 损失函数，保证模型训练效果。

📦 安装指南

文档未提及安装步骤，暂不提供。

💻 使用示例

在 Covid Papers Browser 仓库中提供了基于相似度的科学论文检索的使用示例。

📚 详细文档

模型信息

性能评估

在 STS 数据集 的测试部分使用 Spearman 秩相关系数评估模型性能，并与通过相同流程得到的通用 BERT 基础模型的性能进行比较，以验证它们的相似性。

🔧 技术细节

文档未提供详细的技术实现细节，暂不展示。

📄 许可证

文档未提及许可证信息，暂不展示。

📚 参考文献

[1] I. Beltagy 等人, SciBERT: A Pretrained Language Model for Scientific Text [2] A. Conneau 等人, Supervised Learning of Universal Sentence Representations from Natural Language Inference Data [3] N. Reimers 和 I. Gurevych, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks