Procbert

🚀 ProcBERT

ProcBERT是專門為程序文本設計的預訓練語言模型。它在包含超過120億個標記的大規模程序語料庫（PubMed文章、化學專利、烹飪食譜）上進行了預訓練，並在下游任務中表現出色。更多詳細信息可查看以下論文。

🚀 快速開始

ProcBERT是專門針對程序文本的預訓練語言模型，在大規模程序語料庫上預訓練後，能在下游任務中展現出良好性能。

✨ 主要特性

• 領域針對性強：專門為程序文本設計，適用於處理如PubMed文章、化學專利、烹飪食譜等特定領域的文本。
• 大規模預訓練：在包含超過120億個標記的大規模程序語料庫上進行預訓練。
• 性能出色：在下游任務中表現出良好的性能。

📦 安裝指南

文檔未提供具體安裝步驟，跳過該章節。

💻 使用示例

基礎用法

from transformers import *
tokenizer = AutoTokenizer.from_pretrained("fbaigt/procbert")
model = AutoModelForTokenClassification.from_pretrained("fbaigt/procbert")

更多使用細節可查看此處。

📚 詳細文檔

更多詳細信息可查看以下論文：

@inproceedings{bai-etal-2021-pre,
    title = "Pre-train or Annotate? Domain Adaptation with a Constrained Budget",
    author = "Bai, Fan  and
              Ritter, Alan  and
              Xu, Wei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
}

🔧 技術細節

文檔未提供具體技術細節，跳過該章節。

📄 許可證

文檔未提供許可證信息，跳過該章節。