Electra Small Generator

🚀 ELECTRA：将文本编码器预训练为判别器而非生成器

ELECTRA 是一种用于自监督语言表征学习的新方法。它可以用相对较少的计算资源来预训练Transformer网络。ELECTRA模型经过训练，能够区分“真实”的输入标记和由另一个神经网络生成的“虚假”输入标记，这与生成对抗网络（GAN）中的判别器类似。在小规模训练时，即使仅使用单个GPU，ELECTRA也能取得不错的效果。在大规模训练时，ELECTRA在斯坦福问答数据集2.0（SQuAD 2.0）上达到了当前最优的结果。

如需详细描述和实验结果，请参考我们的论文ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators。

本仓库包含用于预训练ELECTRA的代码，包括在单个GPU上训练小型ELECTRA模型的代码。它还支持在下游任务上对ELECTRA进行微调，这些下游任务包括分类任务（例如，通用语言理解评估（GLUE））、问答任务（例如，斯坦福问答数据集（SQuAD））和序列标注任务（例如，文本分块）。

🚀 快速开始

重要提示

⚠️ 重要提示

这是 ELECTRA原始代码库 中的官方生成器检查点。但是，该模型在与 google/electra-small-discriminator 进行预训练时，规模设置并不合适。论文建议，对于该模型，判别器和生成器之间的超参数乘数应为1/4，以避免训练不稳定。而使用 google/electra-small-generator 和 google/electra-small-discriminator 时则不会出现这种情况，因为它们的规模相近。

✨ 主要特性

• 自监督语言表征学习的新方法，可使用较少计算资源预训练Transformer网络。
• 小规模训练时单GPU可用，大规模训练时在SQuAD 2.0数据集上达最优结果。
• 支持多种下游任务的微调，如分类、问答和序列标注任务。

💻 使用示例

基础用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="google/electra-small-generator",
    tokenizer="google/electra-small-generator"
)

print(
    fill_mask(f"HuggingFace is creating a {nlp.tokenizer.mask_token} that the community uses to solve NLP tasks.")
)

📄 许可证

本项目采用 Apache 2.0许可证。