Gpt Neo 1.3B

🚀 GPT-Neo 1.3B

GPT-Neo 1.3Bは、EleutherAIによるGPT - 3アーキテクチャの再現を用いて設計されたトランスフォーマーモデルです。GPT - Neoはモデルのクラスを指し、1.3Bはこの特定の事前学習モデルのパラメータ数を表します。

🚀 クイックスタート

GPT-Neo 1.3Bは、英語の内部表現を学習し、下流のタスクに役立つ特徴を抽出するために使用できます。主にプロンプトからのテキスト生成に最適です。

✨ 主な機能

• プロンプトからのテキスト生成が得意です。
• 英語の内部表現を学習し、下流タスクの特徴抽出に利用できます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='EleutherAI/gpt-neo-1.3B')
>>> generator("EleutherAI has", do_sample=True, min_length=50)

[{'generated_text': 'EleutherAI has made a commitment to create new software packages for each of its major clients and has'}]

📚 ドキュメント

モデルの説明

GPT-Neo 1.3Bは、EleutherAIによるGPT - 3アーキテクチャの再現を用いて設計されたトランスフォーマーモデルです。GPT - Neoはモデルのクラスを指し、1.3Bはこの特定の事前学習モデルのパラメータ数を表します。

学習データ

GPT-Neo 1.3Bは、EleutherAIがこのモデルの学習を目的として作成した大規模な精選データセットであるPileで学習されました。

学習手順

このモデルは、Pile上で3800億トークンに対して362,000ステップで学習されました。マスク付き自己回帰型言語モデルとして、交差エントロピー損失を使用して学習されました。

想定される使用方法と制限

このようにして、モデルは英語の内部表現を学習し、下流のタスクに役立つ特徴を抽出するために使用できます。ただし、このモデルは事前学習された目的、つまりプロンプトからのテキスト生成に最適です。

制限とバイアス

GPT-Neoは自己回帰型言語モデルとして学習されました。これは、その核心機能がテキストの文字列を受け取り、次のトークンを予測することです。言語モデルはこれ以外のタスクにも広く使用されていますが、この作業には多くの未知の要素があります。

GPT-Neoは、不適切な言葉や露骨な表現などを含むことが知られているPileデータセットで学習されています。使用目的によっては、GPT-Neoが社会的に受け入れられないテキストを生成する可能性があります。Pileのバイアスに関する詳細な分析については、Pile論文のセクション5と6を参照してください。

すべての言語モデルと同様に、GPT-Neoが特定のプロンプトにどのように反応するかを事前に予測することは困難であり、警告なしに不快な内容が生成される可能性があります。出力を公開する前に、人間が出力を選別またはフィルタリングすることをお勧めします。これにより、望ましくない内容を削除し、結果の品質を向上させることができます。

評価結果

言語的推論

物理的および科学的推論

下流アプリケーション

TBD

BibTeXエントリと引用情報

このモデルを引用するには、以下を使用してください。

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

@article{gao2020pile,
  title={The Pile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and others},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。