Electra Small Generator

🚀 ELECTRA：將文本編碼器預訓練為判別器而非生成器

ELECTRA 是一種用於自監督語言表徵學習的新方法。它可以用相對較少的計算資源來預訓練Transformer網絡。ELECTRA模型經過訓練，能夠區分“真實”的輸入標記和由另一個神經網絡生成的“虛假”輸入標記，這與生成對抗網絡（GAN）中的判別器類似。在小規模訓練時，即使僅使用單個GPU，ELECTRA也能取得不錯的效果。在大規模訓練時，ELECTRA在斯坦福問答數據集2.0（SQuAD 2.0）上達到了當前最優的結果。

如需詳細描述和實驗結果，請參考我們的論文ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators。

本倉庫包含用於預訓練ELECTRA的代碼，包括在單個GPU上訓練小型ELECTRA模型的代碼。它還支持在下游任務上對ELECTRA進行微調，這些下游任務包括分類任務（例如，通用語言理解評估（GLUE））、問答任務（例如，斯坦福問答數據集（SQuAD））和序列標註任務（例如，文本分塊）。

🚀 快速開始

重要提示

⚠️ 重要提示

這是 ELECTRA原始代碼庫 中的官方生成器檢查點。但是，該模型在與 google/electra-small-discriminator 進行預訓練時，規模設置並不合適。論文建議，對於該模型，判別器和生成器之間的超參數乘數應為1/4，以避免訓練不穩定。而使用 google/electra-small-generator 和 google/electra-small-discriminator 時則不會出現這種情況，因為它們的規模相近。

✨ 主要特性

• 自監督語言表徵學習的新方法，可使用較少計算資源預訓練Transformer網絡。
• 小規模訓練時單GPU可用，大規模訓練時在SQuAD 2.0數據集上達最優結果。
• 支持多種下游任務的微調，如分類、問答和序列標註任務。

💻 使用示例

基礎用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="google/electra-small-generator",
    tokenizer="google/electra-small-generator"
)

print(
    fill_mask(f"HuggingFace is creating a {nlp.tokenizer.mask_token} that the community uses to solve NLP tasks.")
)

📄 許可證

本項目採用 Apache 2.0許可證。