Chemical Bert Uncased

🚀 化学産業向けBERT

化学産業向けのBERTベースの言語モデルで、SciBERTのチェックポイントからさらに事前学習されました。このモデルは化学産業分野の技術文書やウィキペディアの化学記事を用いて、広範な化学用語を学習しています。

🚀 クイックスタート

このモデルは、化学産業分野の40,000以上の技術文書のコーパスと、13,000のウィキペディアの化学記事を組み合わせて事前学習されています。これらの文書には、安全データシートや製品情報文書などが含まれ、化学分野からの250,000以上のトークンを持ち、MLMを使用して920万以上の段落で事前学習されています。

マスク付き言語モデリング（MLM）

文を入力として受け取り、モデルは入力内の単語の15%をランダムにマスクし、その後、マスクされた文全体をモデルに通して、マスクされた単語を予測する必要があります。これは、通常、単語を順番に見る従来の再帰型ニューラルネットワーク（RNN）や、GPTのような自己回帰モデルが内部的に未来のトークンをマスクするのとは異なり、モデルが文の双方向表現を学習することを可能にします。

💻 使用例

基本的な使用法

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="recobo/chemical-bert-uncased",
    tokenizer="recobo/chemical-bert-uncased"
)
fill_mask("we create [MASK]")