Scientific Challenges And Directions

🚀 科学的課題と方向性

このプロジェクトは、科学者や医療関係者が科学文献全体にわたる課題と潜在的な方向性を発見するのを支援する新しいリソースを提供します。特に、COVID - 19パンデミックおよび関連する過去の研究に関する幅広いコーパスに焦点を当てています。大まかに言うと、「課題」と「研究方向」は以下のように定義されます。

• 課題：問題、困難、欠陥、制限、失敗、不明瞭さ、または知識のギャップに言及する文。

• 研究方向：さらなる研究の提案や必要性、仮説、推測、問題が探究に値することを示す兆候やヒントに言及する文。

• このモデルについては、当社の論文 A Search Engine for Discovery of Scientific Challenges and Directions で説明されています（論文が公開されてからインフラをアップグレードしているため、結果に若干の違いがあります）。

• 当社のデータセットは こちら で見つけることができます。

• 当社のデータセットやモデルをあなたのプロジェクトで使用する場合は、当社の論文を引用してください。BibTeX を参照してください。

• メールでの問い合わせ はいつでも歓迎します。

• また、当社の検索エンジン もぜひチェックしてみてください。

🚀 クイックスタート

このモデルは、科学文献における課題と研究方向を特定するためのものです。以下の手順で始めることができます。

1. データセットを こちら からダウンロードします。
2. モデルを使用して推論を行うには、リポジトリ の Inference_Notebook.ipynb を参照してください。

✨ 主な機能

• 科学文献の文を「課題」と「研究方向」に分類する機能。
• 多ラベルテキスト分類に最適化されたモデル。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のバージョンのライブラリが使用されています。

💻 使用例

基本的な使用法

モデルを使用して推論を行うには、リポジトリ の Inference_Notebook.ipynb を参照してください。

📚 ドキュメント

モデルの説明

このモデルは、PubMedBERT を scientific-challenges-and-directions-dataset でファインチューニングしたもので、多ラベルテキスト分類に使用されます。

学習と評価データ

このモデルは、CORD - 19コーパスの1786の全文論文から収集された2894の文とその周辺の文脈を含むデータセットを使用して学習されています。これらの文は、生物医学およびバイオNLPの背景を持つ専門家によって「課題」と「研究方向」の分類のためにラベル付けされています。データの学習/テスト/分割の詳細については、当社の 論文 のセクション3.1を参照してください。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e - 05
• 学習バッチサイズ: 8
• 評価バッチサイズ: 4
• シード: 4
• オプティマイザ: Adam（betas=(0.9,0.999)、epsilon=1e - 08）
• 学習率スケジューラタイプ: 線形
• 学習率スケジューラウォームアップステップ: 500
• エポック数: 30

学習結果

テストセットでの結果は以下の通りです。

• 課題の精度: 0.768719
• 課題の再現率: 0.780405
• 課題のF1スコア: 0.774518
• 研究方向の精度: 0.758112
• 研究方向の再現率: 0.774096
• 研究方向のF1スコア: 0.766021
• 両ラベルのマイクロ平均精度: 0.764894
• 両ラベルのマイクロ平均再現率: 0.778139
• 両ラベルのマイクロ平均F1スコア: 0.771459

フレームワークバージョン

• Transformers 4.15.0
• Pytorch 1.10.0+cu111
• Datasets 1.17.0
• Tokenizers 0.10.3

🔧 技術詳細

このモデルは、COVID - 19パンデミックおよび関連する過去の研究に関する科学文献の文を分類するために設計されています。PubMedBERTをベースにしており、特定のデータセットでファインチューニングされています。

📄 ライセンス

当社のデータセットやモデルを使用する場合は、以下の論文を引用してください。

@misc{lahav2021search,
      title={A Search Engine for Discovery of Scientific Challenges and Directions}, 
      author={Dan Lahav and Jon Saad Falcon and Bailey Kuehl and Sophie Johnson and Sravanthi Parasa and Noam Shomron and Duen Horng Chau and Diyi Yang and Eric Horvitz and Daniel S. Weld and Tom Hope},
      year={2021},
      eprint={2108.13751},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

お問い合わせ

ご質問やご相談はいつでも歓迎します。

メール: lahav@mail.tau.ac.il, tomh@allenai.org