GPT Neo 1.3B Adventure

🚀 GPT-Neo 1.3B - Adventure

GPT-Neo 1.3B - Adventureは、テキスト生成を行うモデルで、EleutherAIのGPT - Neo 1.3Bモデルをファインチューニングしたものです。このモデルは、CYOAベースのデータセットを使って訓練されており、様々なテキスト生成タスクに利用できます。

📚 ドキュメント

モデルの説明

GPT-Neo 1.3B - Adventureは、EleutherAIのGPT - Neo 1.3Bモデルを使用して作成されたファインチューニングモデルです。

訓練データ

訓練データは、VEによる「cys」データセットの直接コピーで、CYOAベースのデータセットです。

使い方

このモデルは、テキスト生成パイプラインを使用して直接利用できます。この例では、実行するたびに異なるシーケンスが生成されます。

基本的な使用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-1.3B-Adventure')
>>> generator("> You wake up.", do_sample=True, min_length=50)
[{'generated_text': '> You wake up"\nYou get out of bed, don your armor and get out of the door in search for new adventures.'}]

制限事項とバイアス

GPT - Neoは自己回帰型の言語モデルとして訓練されています。これは、その核心機能がテキストの文字列を受け取り、次のトークンを予測することです。言語モデルはこれ以外のタスクにも広く使用されていますが、この作業には多くの未知の要素があります。 GPT - Neoは、不適切な表現や露骨な言葉を含むことが知られているPileデータセットで訓練されています。使用目的によっては、GPT - Neoが社会的に受け入れられないテキストを生成する可能性があります。Pileデータセットのバイアスに関する詳細な分析については、Pile論文のセクション5と6を参照してください。 すべての言語モデルと同様に、GPT - Neoが特定のプロンプトにどのように反応するかを事前に予測することは困難であり、不快な内容が突然発生する可能性があります。私たちは、結果を公開する前に人間が出力を選別またはフィルタリングすることを推奨します。これは、望ましくない内容を検閲するためだけでなく、結果の品質を向上させるためでもあります。

BibTeXエントリと引用情報

このモデルは、以下のソフトウェアを使用して作成されています。

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

情報テーブル

ライセンス

このモデルはMITライセンスの下で提供されています。