GPT J 6B Janeway

🚀 GPT-J 6B - Janeway

GPT-J 6B - Janewayは、EleutherAIのGPT-J 6Bモデルを使用して作成されたファインチューニングモデルです。このモデルは、特定のジャンルの電子書籍データを用いて学習され、テキスト生成に利用できます。

🚀 クイックスタート

このモデルは、テキスト生成のパイプラインで直接使用できます。以下の例では、実行するたびに異なるシーケンスを生成します。

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-J-6B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt\'s all right," Janeway said. "I\'m certain that you\'re doing your best to keep me informed of what\'s going on."'}]

✨ 主な機能

• EleutherAIのGPT-J 6Bモデルをベースにしたファインチューニングモデルです。
• 約2210冊の電子書籍を学習データとして使用しています。
• テキスト生成のパイプラインで直接使用できます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-J-6B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt\'s all right," Janeway said. "I\'m certain that you\'re doing your best to keep me informed of what\'s going on."'}]

📚 ドキュメント

学習データ

学習データには約2210冊の電子書籍が含まれており、主にサイエンスフィクションとファンタジーのジャンルが中心です。このデータセットは、GPT-Neo-2.7B-Picardで使用されたデータセットをベースに、様々なジャンルのデータを20%追加したものです。データセットの一部には、[Genre: <genre1>,<genre2>]というテキストが先頭に付加されています。

制限事項とバイアス

GPT-Jの核心機能は、テキストの文字列を受け取り、次のトークンを予測することです。言語モデルはこれ以外のタスクにも広く使用されていますが、この作業には多くの未知の要素があります。GPT-Jにプロンプトを与える際には、統計的に最も可能性の高い次のトークンが必ずしも最も「正確」なテキストを生成するとは限らないことを覚えておくことが重要です。GPT-Jが事実に基づいた正確な出力を生成することに決して依存しないでください。

GPT-Jは、不適切な言葉や露骨な表現、その他の不快な言語が含まれることが知られているThe Pileというデータセットで学習されています。使用ケースによっては、GPT-Jが社会的に受け入れられないテキストを生成する可能性があります。The Pileのバイアスに関する詳細な分析については、The Pile論文のセクション5と6を参照してください。

すべての言語モデルと同様に、GPT-Jが特定のプロンプトにどのように反応するかを事前に予測することは困難であり、不快な内容が突然生成されることがあります。望ましくない内容を検閲し、結果の品質を向上させるために、出力を公開する前に人間による選別またはフィルタリングを行うことをお勧めします。

BibTeXエントリと引用情報

このモデルは以下のモデルをベースにしています。

@misc{gpt-j,
  author = {Wang, Ben and Komatsuzaki, Aran},
  title = {{GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = May
}

🔧 技術詳細

このモデルは、EleutherAIのGPT-J 6Bモデルをベースにしています。学習データは、主にサイエンスフィクションとファンタジーのジャンルの電子書籍で構成されています。データセットは、GPT-Neo-2.7B-Picardで使用されたデータセットをベースに、様々なジャンルのデータを20%追加したものです。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

謝辞

このプロジェクトは、GoogleがTPU Research Cloudを通じて提供してくれた計算資源と、Cloud TPU VM Alphaへの早期アクセスを提供してくれたCloud TPUチームのおかげで可能になりました。