Covidbert Nli

🚀 CovidBERT-NLI

CovidBERT-NLI 是 DeepSet 在 AllenAI 的 CORD19 數據集（一個關於冠狀病毒的科學文章數據集）上訓練的模型。該模型能夠為科學研究提供語義理解和文本匹配能力，助力疫情相關研究的信息檢索和分析。

🚀 快速開始

CovidBERT 模型使用原始的 BERT 詞塊詞彙表，隨後在 SNLI 和 MultiNLI 數據集上進行微調。微調過程藉助了 sentence-transformers 庫，採用平均池化策略和softmax 損失函數來生成通用的句子嵌入 [1]。

✨ 主要特性

• 基於專業數據集訓練：使用 CORD19 數據集進行預訓練，該數據集包含大量關於冠狀病毒的科學文章，使模型在疫情相關領域具有更好的語義理解能力。
• 微調優化：在 SNLI 和 MultiNLI 數據集上進行微調，提升了模型在自然語言推理任務中的表現。
• 通用句子嵌入：通過平均池化策略和 softmax 損失函數生成通用的句子嵌入，可應用於多種自然語言處理任務。

📚 詳細文檔

基礎信息

• 基礎模型：來自 HuggingFace 的 AutoModel 的 deepset/covid_bert_base。
• 訓練時間：在 Kaggle Notebooks 提供的 NVIDIA Tesla P100 GPU 上訓練約 6 小時。

參數詳情

性能評估

模型的性能在 STS 數據集 的測試部分進行評估，使用斯皮爾曼等級相關性進行度量，並與通過相同流程獲得的類似模型的性能進行比較，以驗證其性能。

使用示例

在 Covid-19 語義瀏覽器 倉庫中提供了基於相似度的科學論文檢索的使用示例。

📄 參考文獻

[1] A. Conneau 等人，Supervised Learning of Universal Sentence Representations from Natural Language Inference Data [2] N. Reimers 和 I. Gurevych，Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks