GPT J 6B Janeway

🚀 GPT-J 6B - Janeway

GPT-J 6B - Janeway是基於EleutherAI的GPT-J 6B模型微調而來的模型，使用約2210本電子書進行訓練，主要涵蓋科幻和奇幻等類型，能用於文本生成，但使用時需注意其侷限性和偏差。

🚀 快速開始

你可以直接使用文本生成管道來使用這個模型。以下示例每次運行時都會生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-J-6B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

✨ 主要特性

• 基於EleutherAI的GPT-J 6B模型進行微調。
• 訓練數據包含約2210本電子書，主要為科幻和奇幻類型。
• 數據集基於GPT-Neo-2.7B - Picard使用的數據集，各類型數據增加了20%。

📚 詳細文檔

模型描述

GPT-J 6B - Janeway是使用EleutherAI的GPT-J 6B模型創建的微調模型。

訓練數據

訓練數據包含約2210本電子書，大多屬於科幻和奇幻類型。該數據集基於GPT - Neo - 2.7B - Picard使用的同一數據集，各類型數據增加了20%。數據集的某些部分已使用以下文本作為前綴：[Genre: <genre1>,<genre2>]

侷限性和偏差

GPT - J的核心功能是獲取一段文本字符串並預測下一個標記。雖然語言模型廣泛用於此之外的任務，但這項工作仍有很多未知因素。在提示GPT - J時，重要的是要記住，統計上最可能的下一個標記通常不是產生最“準確”文本的標記。絕不要依賴GPT - J來產生事實準確的輸出。

GPT - J是在Pile數據集上訓練的，該數據集已知包含褻瀆、淫穢和其他冒犯性語言。根據用例的不同，GPT - J可能會產生社會不可接受的文本。有關Pile數據集中偏差的更詳細分析，請參閱Pile論文的第5和6節。

與所有語言模型一樣，很難提前預測GPT - J會如何響應特定提示，並且可能會在沒有警告的情況下出現冒犯性內容。我們建議在發佈輸出之前由人工對其進行篩選或過濾，以審查不良內容並提高結果的質量。

BibTeX引用和引用信息

該模型使用以下模型作為基礎：

@misc{gpt-j,
  author = {Wang, Ben and Komatsuzaki, Aran},
  title = {{GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = May
}

📄 許可證

本項目採用MIT許可證。

致謝

如果沒有Google通過TPU研究雲慷慨提供的計算資源，以及Cloud TPU團隊提供的Cloud TPU VM Alpha早期訪問權限，這個項目是不可能完成的。