Procbert

🚀 ProcBERT

ProcBERTは、手続き型テキスト向けの事前学習言語モデルです。120億を超えるトークンを含む大規模な手続き型コーパス（PubMed記事、化学特許、料理レシピ）で事前学習されており、下流タスクで優れた性能を発揮します。詳細は以下の論文を参照してください。

🚀 クイックスタート

ProcBERTは、手続き型テキストに特化した事前学習言語モデルで、大規模コーパスで事前学習され、下流タスクでの性能が高いです。

📦 インストール

ProcBERTを使用するには、以下のコードを実行します。

from transformers import *
tokenizer = AutoTokenizer.from_pretrained("fbaigt/procbert")
model = AutoModelForTokenClassification.from_pretrained("fbaigt/procbert")

💻 使用例

基本的な使用法

from transformers import *
tokenizer = AutoTokenizer.from_pretrained("fbaigt/procbert")
model = AutoModelForTokenClassification.from_pretrained("fbaigt/procbert")

使用の詳細については、こちらを参照してください。

📚 ドキュメント

詳細な情報は、以下の論文に記載されています。

@inproceedings{bai-etal-2021-pre,
    title = "Pre-train or Annotate? Domain Adaptation with a Constrained Budget",
    author = "Bai, Fan  and
              Ritter, Alan  and
              Xu, Wei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
}

📄 ライセンス

論文内の情報を参照してください。

情報テーブル