OPT 6B Nerys V2

🚀 OPT 6B - Nerys

OPT 6B - Nerys 是基於 Facebook 的 OPT 模型微調得到的模型，可用於文本生成任務，為用戶提供多樣化的文本輸出。

🚀 快速開始

你可以直接使用文本生成管道來使用這個模型。以下示例每次運行時都會生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/OPT-6B-Nerys-v2')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

✨ 主要特性

• 基於 Facebook 的 OPT 模型進行微調，繼承了其強大的語言理解和生成能力。
• 使用多樣化的訓練數據，包括不同類型的電子書、CYOA 數據集和亞洲輕小說，使模型具有更廣泛的知識和語言表達能力。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/OPT-6B-Nerys-v2')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

📚 詳細文檔

模型描述

OPT 6B - Nerys 是使用 Facebook 的 OPT 模型創建的微調模型。

訓練數據

訓練數據包含約 2500 本各種類型的電子書（“Pike” 數據集）、一個名為 “CYS” 的 CYOA 數據集和 50 本亞洲 “輕小說”（“Manga - v1” 數據集）。 數據集的大部分部分都使用以下文本作為前綴：[Genre: <genre1>, <genre2>] 該數據集的清理方式與 fairseq - dense - 13B - Nerys - v2 相同。

侷限性和偏差

基於自然語言處理技術已知的問題，潛在的相關因素包括偏差（性別、職業、種族和宗教）。

許可證

OPT - 6B 遵循 OPT - 175B 許可證，版權所有 (c) Meta Platforms, Inc. 保留所有權利。

BibTeX 引用和引用信息

@misc{zhang2022opt,
      title={OPT: Open Pre-trained Transformer Language Models}, 
      author={Susan Zhang and Stephen Roller and Naman Goyal and Mikel Artetxe and Moya Chen and Shuohui Chen and Christopher Dewan and Mona Diab and Xian Li and Xi Victoria Lin and Todor Mihaylov and Myle Ott and Sam Shleifer and Kurt Shuster and Daniel Simig and Punit Singh Koura and Anjali Sridhar and Tianlu Wang and Luke Zettlemoyer},
      year={2022},
      eprint={2205.01068},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🔧 技術細節

文檔未提供具體技術細節，故跳過該章節。

📄 許可證

OPT - 6B 遵循 OPT - 175B 許可證，版權所有 (c) Meta Platforms, Inc. 保留所有權利。