Chemical Bert Uncased

🚀 化工行业BERT模型

本项目是一个基于BERT的语言模型，它在 SciBERT 的预训练检查点基础上进行了进一步预训练。该模型使用了来自化工行业领域的40,000多份技术文档语料库，并结合了13,000篇维基百科化学文章，涵盖安全数据表和产品信息文档等，拥有超过250,000个化工领域的标记，并通过掩码语言模型（MLM）在超过920万段文本上进行了预训练。

✨ 主要特性

• 掩码语言建模（MLM）：该模型会随机掩盖输入句子中15%的单词，然后将整个掩码后的句子输入模型，让模型预测被掩盖的单词。这与传统的循环神经网络（RNNs）不同，RNNs通常是逐个处理单词；也与像GPT这样的自回归模型不同，GPT会在内部掩盖未来的标记。这种方式使模型能够学习句子的双向表示。

🚀 快速开始

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="recobo/chemical-bert-uncased",
    tokenizer="recobo/chemical-bert-uncased"
)
fill_mask("we create [MASK]")

💻 使用示例

基础用法

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="recobo/chemical-bert-uncased",
    tokenizer="recobo/chemical-bert-uncased"
)
fill_mask("we create [MASK]")