Gpt2 Demo

🚀 GPT-2 テストコピー

GPT-2は、自己教師付き学習によって非常に大規模な英語データコーパスで事前学習されたトランスフォーマーモデルです。これは、人間が何らかの形でラベル付けを行わず、生のテキストのみを使用して事前学習されたことを意味します（このため、多くの公開データを利用できます）。そして、それらのテキストから入力とラベルを自動的に生成するプロセスが行われます。より正確には、文章内の次の単語を予測するように学習されています。

🚀 クイックスタート

GPT-2は、自己教師付き学習によって英語の大規模コーパスで事前学習されたトランスフォーマーモデルです。具体的には、特定の長さの連続したテキストシーケンスを入力とし、そのシーケンスを1トークン（単語または単語の一部）だけ右にシフトしたものをターゲットとして学習します。モデルは内部でマスク機構を使用して、トークンiの予測には1からiまでの入力のみを使用し、未来のトークンを使用しないようにしています。

このようにして、モデルは英語の内部表現を学習し、下流のタスクに役立つ特徴を抽出するために使用できます。ただし、モデルは事前学習の目的である、プロンプトからのテキスト生成に最も優れています。

これは、1億2400万のパラメータを持つGPT-2の最小バージョンです。

📄 ライセンス

other