Scibert Nli

🚀 SciBERT-NLI

SciBERT-NLI は、SciBERT [1] モデルをファインチューニングして得られたものです。このモデルは、SNLI と MultiNLI データセットで訓練され、sentence-transformers ライブラリ を使って汎用的な文埋め込みを生成します [2]。本モデルは、科学論文の検索などの自然言語処理タスクに利用できます。

🚀 クイックスタート

このモデルは、元の scivocab トークンボキャブラリを使用し、平均プーリング戦略とソフトマックス損失関数を用いて訓練されています。

✨ 主な機能

• 事前学習済みの SciBERT モデルをベースにしており、科学テキスト処理で良好な性能を発揮します。
• SNLI と MultiNLI データセットを利用してファインチューニングされ、汎用的な文埋め込みを生成します。
• 平均プーリング戦略とソフトマックス損失関数を採用し、モデルの訓練効果を保証します。

💻 使用例

Covid Papers Browser リポジトリには、類似度に基づく科学論文検索の使用例が提供されています。

📚 ドキュメント

モデル情報

性能評価

STS データセット のテスト部分で Spearman 順位相関係数を使用してモデルの性能を評価し、同じプロセスで得られた汎用的な BERT ベースモデルの性能と比較し、それらの類似性を検証しました。

📚 参考文献

[1] I. Beltagy ら, SciBERT: A Pretrained Language Model for Scientific Text [2] A. Conneau ら, Supervised Learning of Universal Sentence Representations from Natural Language Inference Data [3] N. Reimers と I. Gurevych, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks