Electra Large Generator

🚀 ELECTRA: 生成器ではなく識別器としてのテキストエンコーダの事前学習

ELECTRAは、自己教師付き言語表現学習の新しい手法です。比較的少ない計算資源でトランスフォーマーネットワークを事前学習させることができます。ELECTRAモデルは、別のニューラルネットワークによって生成された「偽」の入力トークンと「真」の入力トークンを区別するように学習されます。これは、GANの識別器に似ています。小規模では、単一のGPUで学習しても強力な結果を達成します。大規模では、SQuAD 2.0データセットで最先端の結果を達成します。

詳細な説明と実験結果については、当社の論文ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generatorsを参照してください。

このリポジトリには、ELECTRAを事前学習するためのコードが含まれており、単一のGPUで小規模のELECTRAモデルを学習することもサポートしています。また、分類タスク（例：GLUE）、QAタスク（例：SQuAD）、シーケンスタグ付けタスク（例：text chunking）などの下流タスクでELECTRAを微調整することもサポートしています。

🚀 クイックスタート

ELECTRAは、自己教師付き言語表現学習の新しい手法で、比較的少ない計算資源でトランスフォーマーネットワークを事前学習できます。小規模では単一GPUで、大規模ではSQuAD 2.0データセットで優れた結果を達成します。

✨ 主な機能

• 比較的少ない計算資源でトランスフォーマーネットワークを事前学習できます。
• 小規模では単一のGPUで学習しても強力な結果を達成します。
• 大規模では、SQuAD 2.0データセットで最先端の結果を達成します。
• 下流タスクでの微調整をサポートしています。

💻 使用例

基本的な使用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="google/electra-large-generator",
    tokenizer="google/electra-large-generator"
)

print(
    fill_mask(f"HuggingFace is creating a {nlp.tokenizer.mask_token} that the community uses to solve NLP tasks.")
)

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。