Electra Small Generator

🚀 ELECTRA: ジェネレータではなく識別器としてのテキストエンコーダの事前学習

ELECTRAは、自己教師付き言語表現学習の新しい手法です。比較的少ないコンピューティングリソースを使用して、トランスフォーマーネットワークを事前学習させることができます。ELECTRAモデルは、別のニューラルネットワークによって生成された「偽」の入力トークンと「真」の入力トークンを区別するように学習されます。これは、GANの識別器に似ています。小規模では、単一のGPUで学習しても強力な結果が得られます。大規模では、SQuAD 2.0データセットで最先端の結果を達成します。

詳細な説明と実験結果については、論文ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generatorsを参照してください。

このリポジトリには、ELECTRAを事前学習するためのコードが含まれており、単一のGPUで小規模のELECTRAモデルを学習することもできます。また、分類タスク（例：GLUE）、QAタスク（例：SQuAD）、シーケンスタグ付けタスク（例：text chunking）などの下流タスクでELECTRAを微調整することもサポートしています。

🚀 クイックスタート

このモデルに関して、いくつか重要な注意点があります。

⚠️ 重要提示

これはELECTRAのオリジナルコードベースにある公式のジェネレータチェックポイントです。ただし、このモデルはgoogle/electra-small-discriminatorで事前学習するために適切にスケーリングされていません。論文では、このモデルについて、学習の不安定性を避けるために、識別器とジェネレータの間で1/4のハイパーパラメータ乗数を推奨しています。google/electra-small-generatorとgoogle/electra-small-discriminatorを使用する場合は、この問題は発生しません。これらはサイズが類似しているためです。

✨ 主な機能

• 自己教師付き言語表現学習の新しい手法で、少ないコンピューティングリソースでトランスフォーマーネットワークを事前学習できる。
• 小規模では単一GPUでも強力な結果が得られ、大規模ではSQuAD 2.0データセットで最先端の結果を達成する。
• 分類、QA、シーケンスタグ付けなどの下流タスクでの微調整をサポートする。

💻 使用例

基本的な使用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="google/electra-small-generator",
    tokenizer="google/electra-small-generator"
)

print(
    fill_mask(f"HuggingFace is creating a {nlp.tokenizer.mask_token} that the community uses to solve NLP tasks.")
)

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。