Biobert Nli

🚀 BioBERT - NLI

このモデルは、BioBERT [1] を、SNLI と MultiNLI データセットで、sentence - transformers ライブラリ を使用してファインチューニングし、普遍的な文埋め込みを生成したものです [2]。

このモデルは、元のBERTのワードピース語彙を使用し、平均プーリング戦略 と ソフトマックス損失 を用いて学習されています。

🚀 クイックスタート

このBioBERT - NLIモデルは、科学論文の検索や自然言語推論などのタスクに利用できます。以下のセクションでは、モデルの詳細や性能について説明します。

✨ 主な機能

• バイオメディカル分野の文をベクトル表現に変換し、普遍的な文埋め込みを生成します。
• 平均プーリング戦略とソフトマックス損失を用いて学習されています。

📚 ドキュメント

モデル情報

• ベースモデル：HuggingFaceの AutoModel からの monologg/biobert_v1.1_pubmed
• 学習時間：Kaggle Notebooksで提供されるNVIDIA Tesla P100 GPUで約6時間

パラメータ

性能評価

性能は、STSデータセット のテスト部分でSpearman順位相関を使用して評価され、同じ手順で得られた一般的なBERTベースモデルの性能と比較され、その類似性が検証されました。

使用例

類似性ベースの科学論文検索の使用例は、[Covid Papers Browser](https://github.com/gsarti/covid - papers - browser) リポジトリに提供されています。

参考文献

[1] J. Lee et al, BioBERT: a pre - trained biomedical language representation model for biomedical text mining [2] A. Conneau et al., [Supervised Learning of Universal Sentence Representations from Natural Language Inference Data](https://www.aclweb.org/anthology/D17 - 1070/) [3] N. Reimers et I. Gurevych, [Sentence - BERT: Sentence Embeddings using Siamese BERT - Networks](https://www.aclweb.org/anthology/D19 - 1410/)