Medbert

🚀 MedBERTモデル

MedBERT は、生物医学の固有表現認識のために新たに事前学習された、Transformerベースの言語モデルです。このモデルは Bio_ClinicalBERT で初期化され、N2C2、BioNLP、およびCRAFTコミュニティのデータセットで事前学習されています。

🚀 クイックスタート

MedBERTモデルを使用するには、以下のコードを実行します。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Charangan/MedBERT")
model = AutoModel.from_pretrained("Charangan/MedBERT")

✨ 主な機能

MedBERTは、生物医学分野の固有表現認識に特化した事前学習済み言語モデルです。Bio_ClinicalBERTを初期化として使用し、複数の生物医学データセットで学習することで、高精度な固有表現認識を実現します。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Charangan/MedBERT")
model = AutoModel.from_pretrained("Charangan/MedBERT")

📚 ドキュメント

事前学習について

データ

MedBERT モデルは、N2C2、BioNLP、およびCRAFTコミュニティのデータセットで学習されました。

手順

このモデルは、GoogleのBERTリポジトリ のコードを使用して学習されました。モデルのパラメータは、Bio_ClinicalBERTで初期化されました。

ハイパーパラメータ

事前学習には、バッチサイズ32、最大シーケンス長256、学習率1·10−4を使用しました。モデルは200,000ステップ学習されました。異なるマスクで入力データを複製するためのdup factorは5に設定されました。その他のデフォルトパラメータはすべて使用されました（具体的には、マスクされた言語モデルの確率 = 0.15、シーケンスあたりの最大予測数 = 22）。

詳細情報

生物医学の固有表現認識タスクの追加の詳細とパフォーマンスについては、元の論文 MedBERT: A Pre-trained Language Model for Biomedical Named Entity Recognition (APSIPA Conference 2022) を参照してください。

🔧 技術詳細

MedBERTモデルは、Transformerベースの言語モデルで、生物医学分野の固有表現認識に特化しています。事前学習には、複数の生物医学データセットを使用し、Bio_ClinicalBERTを初期化として使用することで、高精度な固有表現認識を実現します。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

引用

@INPROCEEDINGS{9980157,
    author={Vasantharajan, Charangan and Tun, Kyaw Zin and Thi-Nga, Ho and Jain, Sparsh and Rong, Tong and Siong, Chng Eng},
    booktitle={2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)},
    title={MedBERT: A Pre-trained Language Model for Biomedical Named Entity Recognition},
    year={2022},
    volume={},
    number={},
    pages={1482-1488},
    doi={10.23919/APSIPAASC55919.2022.9980157}
}