Covidbert Nli

🚀 CovidBERT - NLI

このモデル CovidBERT は、DeepSetによって、コロナウイルスに関する科学論文のAllenAIの CORD19データセット を用いて学習されたものです。

このモデルは、元のBERTのワードピース語彙を使用し、その後、SNLI と MultiNLI データセットで、sentence - transformers ライブラリ を用いて、平均プーリング戦略 と ソフトマックス損失 を使用して汎用的な文埋め込み [1] を生成するように微調整されました。

CORD - 19での元の学習のパラメータ詳細は、DeepSetのMLFlow で確認できます。

✨ 主な機能

• ベースモデル：HuggingFaceの AutoModel からの deepset/covid_bert_base。
• 学習時間：Kaggle Notebooksで提供されるNVIDIA Tesla P100 GPUで約6時間。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

類似度ベースの科学論文検索の使用例は、Covid - 19 Semantic Browser リポジトリに記載されています。

📚 ドキュメント

パラメータ詳細

性能評価

性能は、STSデータセット のテスト部分でSpearman順位相関を使用して評価され、同じ手順で得られた類似モデルの性能と比較され、その性能が検証されました。

🔧 技術詳細

このモデルは、元のBERTのワードピース語彙を使用し、その後、SNLI と MultiNLI データセットで、sentence - transformers ライブラリ を用いて、平均プーリング戦略 と ソフトマックス損失 を使用して汎用的な文埋め込み [1] を生成するように微調整されました。

📄 ライセンス

このドキュメントにはライセンス情報が記載されていないため、このセクションは省略されます。

参考文献

[1] A. Conneau et al., Supervised Learning of Universal Sentence Representations from Natural Language Inference Data [2] N. Reimers et I. Gurevych, Sentence - BERT: Sentence Embeddings using Siamese BERT - Networks