Chemical Bert Uncased

🚀 化工行業BERT模型

本項目是一個基於BERT的語言模型，它在 SciBERT 的預訓練檢查點基礎上進行了進一步預訓練。該模型使用了來自化工行業領域的40,000多份技術文檔語料庫，並結合了13,000篇維基百科化學文章，涵蓋安全數據表和產品信息文檔等，擁有超過250,000個化工領域的標記，並通過掩碼語言模型（MLM）在超過920萬段文本上進行了預訓練。

✨ 主要特性

• 掩碼語言建模（MLM）：該模型會隨機掩蓋輸入句子中15%的單詞，然後將整個掩碼後的句子輸入模型，讓模型預測被掩蓋的單詞。這與傳統的循環神經網絡（RNNs）不同，RNNs通常是逐個處理單詞；也與像GPT這樣的自迴歸模型不同，GPT會在內部掩蓋未來的標記。這種方式使模型能夠學習句子的雙向表示。

🚀 快速開始

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="recobo/chemical-bert-uncased",
    tokenizer="recobo/chemical-bert-uncased"
)
fill_mask("we create [MASK]")

💻 使用示例

基礎用法

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model="recobo/chemical-bert-uncased",
    tokenizer="recobo/chemical-bert-uncased"
)
fill_mask("we create [MASK]")