Bio Lm

🚀 bio - lm

このモデルは、生命科学分野の英語の科学的テキスト例のコンペンディアを使用して、マスク付き言語モデリングタスクでさらに学習されたRoBERTaベース事前学習モデルです。BioLangデータセットを利用しています。

🚀 クイックスタート

モデルの概要

このモデルは、RoBERTaベース事前学習モデルをベースに、生命科学分野の英語の科学的テキスト例のコンペンディアを用いて、BioLangデータセットを使ったマスク付き言語モデリングタスクでさらに学習されたものです。

想定される用途と制限

使い方

このモデルの想定される用途は、下流タスク、特にトークン分類のために微調整することです。

fill - maskタスクでモデルをそのまますぐに確認するには、以下のコードを使用します。

from transformers import pipeline, RobertaTokenizerFast
tokenizer = RobertaTokenizerFast.from_pretrained('roberta-base', max_len=512)
text = "Let us try this model to see if it <mask>."
fill_mask = pipeline(
    "fill-mask",
    model='EMBO/bio-lm',
    tokenizer=tokenizer
)
fill_mask(text)

制限とバイアス

このモデルは、トークン分類のような特定のタスクで微調整する必要があります。また、roberta-baseトークナイザーと一緒に使用する必要があります。

学習データ

このモデルは、生命科学分野で公開された論文から抽出されたアブストラクトと図の説明からなる1200万件の例を含むBioLangデータセットを使用して、マスク付き言語モデリングタスクで学習されました。

学習手順

学習は、4台のTesla V100 GPUを搭載したNVIDIA DGX Stationで実行されました。

学習コードはhttps://github.com/source-data/soda - roberta で入手できます。

• コマンド: python -m lm.train /data/json/oapmc_abstracts_figs/ MLM
• トークナイザーの語彙サイズ: 50265
• 学習データ: EMBO/biolang MLM
• 学習に使用する例: 12005390件
• 評価に使用する例: 36713件
• エポック数: 3.0
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 5e - 05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e - 08
• max_grad_norm: 1.0
• tensorboardの実行: lm - MLM - 2021 - 01 - 27T15 - 17 - 43.113766

学習終了時の結果:

trainset: 'loss': 0.8653350830078125
validation set: 'eval_loss': 0.8192330598831177, 'eval_recall': 0.8154601116513597

評価結果

テストセットでの評価結果:

recall: 0.814471959728645