GPT J 6B Skein

🚀 GPT-J-6B-Skein模型卡片

GPT-J-6B-Skein是一款文本生成模型，專為創意故事生成而設計，能理解自由文本和特定格式的交互式小說文本。該模型基於GPT - J架構，由KoboldAI開發並共享。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("KoboldAI/GPT-J-6B-Skein")

model = AutoModelForCausalLM.from_pretrained("KoboldAI/GPT-J-6B-Skein")

✨ 主要特性

• 創意故事生成：能夠生成富有創意的故事內容。
• 支持特定格式：可以理解並處理以“> You”開頭的交互式小說風格文本。

📦 安裝指南

文檔未提及安裝步驟，可參考相關依賴庫（如transformers）的安裝方式。

💻 使用示例

基礎用法

此模型專為創意故事生成而設計，它可以理解自由形式的文本以及採用交互式小說風格編寫的文本，其中行動以“> You”開頭，例如：

You become aware of her breathing -- the slight expansion of her ribs, the soft exhalation -- natural, and yet somehow studied. "Ah -- by the way," she says, in a way that utterly fails to be casual, "have you seen the artist out there? -- My artist, that is."

"No," you respond, uneasy. You open your mouth and close it again.

> You ask about the experience of waking up

📚 詳細文檔

模型詳情

使用方式

直接使用

該模型旨在用於創意故事生成。它可以理解自由形式的文本以及採用交互式小說風格編寫的文本，其中行動以“> You”開頭。

下游使用

暫無更多信息。

超出適用範圍的使用

該模型不應被用於故意為人們創造敵對或疏遠的環境。

偏差、風險和侷限性

GPT - J的核心功能是接收一串文本並預測下一個標記。雖然語言模型被廣泛用於此之外的任務，但這項工作存在很多未知因素。在提示GPT - J時，重要的是要記住，統計上最有可能的下一個標記通常不是產生最“準確”文本的標記。絕不能依賴GPT - J產生事實準確的輸出。

GPT - J是在Pile數據集上訓練的，該數據集已知包含褻瀆、淫穢和其他冒犯性語言。根據用例，GPT - J可能會產生社會不可接受的文本。有關Pile數據集中偏差的更詳細分析，請參閱Pile論文的第5和第6節。

與所有語言模型一樣，很難提前預測GPT - J將如何響應特定提示，並且可能會在沒有警告的情況下出現冒犯性內容。我們建議在發佈輸出之前由人工進行審核或過濾，以審查不良內容並提高結果的質量。

訓練詳情

訓練數據

數據主要由KoboldAI/GPT - Neo - 2.7B - Horni - LN模型數據集中的輕小說和各種交互式小說組成。該數據集使用[Themes: <逗號分隔的類型列表>]進行標記，這意味著如果在上下文中放置類似的文本，模型將嘗試以指定的風格生成文本。有關數據集的更多詳細信息，請參考此文檔。

訓練過程

預處理

數據使用Python包ftfy進行預處理，以儘可能消除非ASCII標點字符和可能的編碼錯誤。數據集中的交互式小說也進行了去重處理，因為交互式小說日誌通常包含重複的文本，例如多次訪問遊戲中的同一區域。使用spaCy進行語法分析，目的是將舊文本冒險遊戲中常見的行動重新格式化為更完整的句子。還手動消除了諸如“感謝遊玩”消息和標題消息之類的內容。

速度、規模、時間

訓練總共花費了大約14小時，平均速度為每秒5265個標記。

評估

測試數據、因素和指標

測試數據

暫無更多信息。

因素

暫無更多信息。

指標

暫無更多信息。

結果

暫無更多信息。

模型檢查

暫無更多信息。

環境影響

可以使用Lacoste等人（2019）中介紹的機器學習影響計算器來估算碳排放。

• 硬件類型：暫無更多信息
• 使用時長：暫無更多信息
• 雲服務提供商：暫無更多信息
• 計算區域：暫無更多信息
• 碳排放：暫無更多信息

技術規格

模型架構和目標

暫無更多信息。

計算基礎設施

硬件

暫無更多信息。

軟件

https://github.com/kingoflolz/mesh-transformer-jax

引用

BibTeX：

@misc{mesh-transformer-jax,
  author = {Wang, Ben},
  title = {{Mesh-Transformer-JAX: Model-Parallel Implementation of Transformer Language Model with JAX}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = May
}

術語表

暫無更多信息。

更多信息

暫無更多信息。

模型卡片作者

KoboldAI與Ezi Ozoani和Hugging Face團隊合作完成。

模型卡片聯繫方式

暫無更多信息。

⚠️ 重要提示

該模型不應被用於故意為人們創造敵對或疏遠的環境。絕不能依賴GPT - J產生事實準確的輸出。GPT - J可能會產生社會不可接受的文本，建議在發佈輸出之前由人工進行審核或過濾。

💡 使用建議

在提示GPT - J時，要記住統計上最有可能的下一個標記通常不是產生最“準確”文本的標記。使用前瞭解模型的偏差、風險和侷限性。