Gpt2 Demo

🚀 GPT - 2 測試副本

GPT - 2是一個基於Transformer架構的模型，它以自監督的方式在大規模英文語料庫上進行預訓練。這意味著它僅在原始文本上進行預訓練，無需人工進行任何標註（因此可以使用大量公開可用的數據），並通過自動流程從這些文本中生成輸入和標籤。更確切地說，它被訓練用於預測句子中的下一個單詞。

🚀 快速開始

本項目是openai - community/gpt2的測試副本。GPT - 2模型通過自監督學習方式，在大規模英文語料上進行訓練，學習英語語言的內在表示，可用於提取對下游任務有用的特徵，尤其擅長根據提示生成文本。

🔧 技術細節

訓練方式

GPT - 2以自監督的方式在大規模英文語料庫上進行預訓練。具體而言，它在原始文本上進行訓練，無需人工標註，通過自動流程從文本中生成輸入和標籤。模型的訓練目標是預測句子中的下一個單詞。

輸入與目標

輸入是一定長度的連續文本序列，目標是相同的序列，但向右移動一個標記（單詞或詞塊）。模型內部使用掩碼機制，確保對標記i的預測僅使用從1到i的輸入，而不使用未來的標記。

模型規模

這是GPT - 2的最小版本，擁有1.24億個參數。

📄 許可證

本項目使用其他許可證。