GPT Neo 2.7B Janeway

🚀 GPT-Neo 2.7B - Janeway

GPT-Neo 2.7B - Janeway是基於EleutherAI的GPT-Neo 2.7B模型進行微調得到的模型，可用於文本生成任務，在科幻和奇幻等領域有一定表現。

🚀 快速開始

你可以直接使用文本生成管道來使用此模型。以下示例每次運行時都會生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-2.7B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

✨ 主要特性

• 基於EleutherAI的GPT-Neo 2.7B模型進行微調。
• 訓練數據包含約2210本電子書，主要為科幻和奇幻類型。
• 數據集基於GPT-Neo-2.7B-Picard使用的相同數據集，各類型數據增加了20%。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-2.7B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

高級用法

文檔未提及高級用法代碼示例，故跳過此部分。

📚 詳細文檔

模型描述

GPT-Neo 2.7B - Janeway是使用EleutherAI的GPT-Neo 2.7B模型創建的微調模型。

訓練數據

訓練數據包含約2210本電子書，主要為科幻和奇幻類型。該數據集基於GPT-Neo-2.7B - Picard使用的相同數據集，各類型數據增加了20%。數據集的某些部分已使用以下文本作為前綴：[Genre: <genre1>,<genre2>]

侷限性和偏差

GPT-Neo是作為自迴歸語言模型進行訓練的。這意味著其核心功能是獲取一串文本並預測下一個標記。雖然語言模型廣泛用於此之外的任務，但這項工作仍有很多未知因素。 GPT-Neo是在Pile數據集上進行訓練的，該數據集已知包含褻瀆、低俗和其他冒犯性語言。根據你的用例，GPT-Neo可能會產生社會不可接受的文本。有關Pile數據集中偏差的更詳細分析，請參閱Pile論文的第5和第6節。 與所有語言模型一樣，很難提前預測GPT-Neo將如何響應特定提示，並且可能會在無警告的情況下出現冒犯性內容。我們建議在發佈輸出之前由人工進行篩選或過濾，以審查不良內容並提高結果質量。

BibTeX引用和引用信息

該模型使用以下軟件製作：

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

🔧 技術細節

GPT-Neo是自迴歸語言模型，核心功能是獲取文本並預測下一個標記。它在Pile數據集上訓練，該數據集包含冒犯性語言，可能導致模型輸出有偏差。

📄 許可證

本項目採用MIT許可證。