Biolinkbert Large

🚀 BioLinkBERT-large

BioLinkBERT-largeモデルは、PubMedのアブストラクトと引用リンク情報を用いて事前学習されています。このモデルは論文LinkBERT: Pretraining Language Models with Document Links (ACL 2022)で紹介されています。コードとデータはこのリポジトリで入手可能です。

このモデルは、BLURBやMedQA-USMLEなどのいくつかのバイオメディカルNLPベンチマークで最先端の性能を達成しています。

✨ 主な機能

LinkBERTは、大量の文書コーパスで事前学習されたトランスフォーマーエンコーダ（BERTに似た）モデルです。これはBERTの改良版で、ハイパーリンクや引用リンクなどの文書リンクを新たに捉え、複数の文書にまたがる知識を取り入れています。具体的には、単一の文書だけでなく、リンクされた文書を同じ言語モデルのコンテキストに入力することで事前学習されています。

LinkBERTは、BERTの代替モデルとして使用できます。一般的な言語理解タスク（例：テキスト分類）でより良い性能を発揮し、知識集約型タスク（例：質問応答）や文書間タスク（例：読解、文書検索）にも特に有効です。

📦 インストール

このモデルは、Hugging Face Transformersライブラリを通じて利用できます。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

与えられたテキストの特徴量を取得するには、次のようにします。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-large')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

高度な使用法

ダウンストリームタスクでの微調整には、このリポジトリを使用するか、他のBERTの微調整コードベースに従って行うことができます。

📚 ドキュメント

このモデルは、質問応答、シーケンス分類、トークン分類などのダウンストリームタスクで微調整して使用することができます。また、生のモデルを特徴抽出（入力テキストの埋め込みを取得）に使用することもできます。

🔧 技術詳細

モデルは、PubMedのアブストラクトと引用リンク情報を用いて事前学習されています。これにより、複数の文書にまたがる知識を取り入れることができます。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

🔍 評価結果

ダウンストリームタスクで微調整した場合、LinkBERTは以下の結果を達成します。

バイオメディカルベンチマーク（BLURB、MedQA、MMLUなど）：BioLinkBERTは新たな最先端性能を達成します。

📖 引用

もしあなたのプロジェクトでLinkBERTが役立った場合、以下を引用してください。

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}