Electra Base Generator

🚀 ELECTRA：將文本編碼器預訓練為判別器而非生成器

ELECTRA是一種用於自監督語言表徵學習的新方法。它可以用相對較少的計算資源來預訓練Transformer網絡。ELECTRA模型經過訓練，能夠區分“真實”的輸入標記和由另一個神經網絡生成的“虛假”輸入標記，這與生成對抗網絡（GAN）中的判別器類似。在小規模訓練時，即使在單個GPU上進行訓練，ELECTRA也能取得不錯的效果。在大規模訓練時，ELECTRA在SQuAD 2.0數據集上達到了當前最優的結果。

若需詳細描述和實驗結果，請參考我們的論文ELECTRA：將文本編碼器預訓練為判別器而非生成器。

本倉庫包含用於預訓練ELECTRA的代碼，包括在單個GPU上訓練小型ELECTRA模型的代碼。它還支持在下游任務上對ELECTRA進行微調，這些下游任務包括分類任務（例如，GLUE）、問答任務（例如，SQuAD）和序列標註任務（例如，文本分塊）。

🚀 快速開始

本項目提供了預訓練和微調ELECTRA模型的代碼，可用於多種自然語言處理下游任務。

✨ 主要特性

• 自監督語言表徵學習的新方法，計算資源需求相對較少。
• 小規模訓練時，單GPU即可取得不錯效果；大規模訓練時，在SQuAD 2.0數據集上達到當前最優結果。
• 支持多種下游任務的微調，包括分類、問答和序列標註任務。

💻 使用示例

基礎用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="google/electra-base-generator",
    tokenizer="google/electra-base-generator"
)

print(
    fill_mask(f"HuggingFace is creating a {fill_mask.tokenizer.mask_token} that the community uses to solve NLP tasks.")
)

📄 許可證

本項目採用Apache-2.0許可證。