Bioredditbert Uncased

🚀 BioRedditBERT

BioRedditBERTは、医療関連の自然言語処理タスクに特化したBERTモデルです。BioBERTを初期モデルとし、Redditの医療関連投稿で追加学習することで、ソーシャルメディア上の医療データに対する性能を向上させています。

🚀 クイックスタート

BioRedditBERTは、医療関連のソーシャルメディアデータに対する性能を向上させるために開発されたBERTモデルです。以下のセクションでは、このモデルの詳細な情報を提供します。

✨ 主な機能

• BioBERTを初期モデルとして使用し、医療関連の知識を事前に学習しています。
• Redditの医療関連投稿で追加学習することで、ソーシャルメディア上の医療データに対する性能を向上させています。
• 医療エンティティリンキングなどのタスクで高い性能を発揮します。

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションを省略します。

💻 使用例

本READMEには具体的な使用例が記載されていないため、このセクションを省略します。

📚 ドキュメント

モデルの説明

BioRedditBERTは、BioBERT (BioBERT-Base v1.0 + PubMed 200K + PMC 270K) から初期化されたBERTモデルであり、健康関連のReddit投稿でさらに事前学習されています。詳細については、論文 COMETA: A Corpus for Medical Entity Linking in the Social Media (EMNLP 2020) を参照してください。

学習データ

2015年初から2018年末までに、r/AskDocs、r/health などの68の健康テーマのサブレディットからすべてのスレッドをクロールし、80万件以上の議論を収集しました。この収集物は、削除された投稿やボットやモデレーターからのコメントなどを削除することで精錬されました。最終的に、約3億トークンと約78万語の語彙サイズを持つ学習コーパスを取得しました。

学習手順

元の google-research/bert リポジトリの同じ事前学習スクリプトを使用します。モデルは、BioBERT-Base v1.0 + PubMed 200K + PMC 270K で初期化されます。 2つのGeForce GTX 1080Ti (11 GB) GPU上で、バッチサイズ64、最大シーケンス長64、学習率 2e-5 で10万ステップ学習します。その他のハイパーパラメータはデフォルトと同じです。

評価結果

ソーシャルメディアドメインでの追加事前学習のメリットを示すために、ソーシャルメディア内の医療エンティティリンキングデータセット AskAPatient (Limsopatham and Collier 2016) での結果を示します。 すべてのモデルに対して同じ10分割交差検証手順を実行し、微調整なしの平均結果を報告します。[CLS] はエンティティの言及の表現として使用されます（すべてのトークンの平均も試しましたが、一般的に [CLS] の方が性能が良いことがわかりました）。

🔧 技術詳細

本READMEには具体的な技術詳細が記載されていないため、このセクションを省略します。

📄 ライセンス

本READMEにはライセンス情報が記載されていないため、このセクションを省略します。

BibTeXエントリと引用情報

@inproceedings{basaldella-2020-cometa,
    title = "{COMETA}: A Corpus for Medical Entity Linking in the Social Media",
    author = "Basaldella, Marco  and Liu, Fangyu, and Shareghi, Ehsan, and Collier, Nigel",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2020",
    publisher = "Association for Computational Linguistics"
}