GPT Neo 2.7B Janeway

🚀 GPT-Neo 2.7B - Janeway

GPT-Neo 2.7B - Janewayは、EleutherAIのGPT - Neo 2.7Bモデルを使用して作成されたファインチューニングモデルです。このモデルは、特定のデータセットを用いて訓練され、テキスト生成などのタスクに利用できます。

✨ 主な機能

• GPT-Neo 2.7Bモデルをベースにしたファインチューニングモデルで、テキスト生成タスクに適しています。
• 特定のジャンルの電子書籍を用いて訓練されており、それらのジャンルに関連するテキスト生成が得意です。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-2.7B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt\'s all right," Janeway said. "I\'m certain that you\'re doing your best to keep me informed of what\'s going on."'}]

📚 ドキュメント

訓練データ

訓練データには約2210冊の電子書籍が含まれており、主にSFとファンタジージャンルのものです。このデータセットは、GPT - Neo - 2.7B - Picardで使用されたデータセットをベースにしており、様々なジャンルのデータが20%増えています。 データセットの一部には、以下のテキストが先頭に追加されています: [Genre: <genre1>,<genre2>]

制限事項とバイアス

GPT - Neoは自己回帰型の言語モデルとして訓練されています。これは、その核心機能がテキスト文字列を受け取り、次のトークンを予測することです。言語モデルはこのタスク以外の多くのタスクで広く使用されていますが、この作業には多くの未知の要素があります。 GPT - Neoは、不適切な言葉や露骨な表現を含むことが知られているPileデータセットで訓練されています。使用ケースによっては、GPT - Neoが社会的に受け入れられないテキストを生成する可能性があります。Pileデータセットのバイアスの詳細な分析については、Pile論文のセクション5と6を参照してください。 すべての言語モデルと同様に、GPT - Neoが特定のプロンプトにどのように反応するかを事前に予測することは困難であり、不快な内容が予告なしに生成される可能性があります。私たちは、出力を公開する前に人間がキュレーションまたはフィルタリングすることを推奨します。これにより、望ましくない内容を削除し、結果の品質を向上させることができます。

BibTeXエントリと引用情報

このモデルは以下のソフトウェアを使用して作成されています:

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。