OPT 6B Nerys V2

🚀 OPT 6B - Nerys

OPT 6B - Nerys 是基于 Facebook 的 OPT 模型微调得到的模型，可用于文本生成任务，为用户提供多样化的文本输出。

🚀 快速开始

你可以直接使用文本生成管道来使用这个模型。以下示例每次运行时都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/OPT-6B-Nerys-v2')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

✨ 主要特性

• 基于 Facebook 的 OPT 模型进行微调，继承了其强大的语言理解和生成能力。
• 使用多样化的训练数据，包括不同类型的电子书、CYOA 数据集和亚洲轻小说，使模型具有更广泛的知识和语言表达能力。

📦 安装指南

文档未提供具体安装步骤，故跳过该章节。

💻 使用示例

基础用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/OPT-6B-Nerys-v2')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

📚 详细文档

模型描述

OPT 6B - Nerys 是使用 Facebook 的 OPT 模型创建的微调模型。

训练数据

训练数据包含约 2500 本各种类型的电子书（“Pike” 数据集）、一个名为 “CYS” 的 CYOA 数据集和 50 本亚洲 “轻小说”（“Manga - v1” 数据集）。 数据集的大部分部分都使用以下文本作为前缀：[Genre: <genre1>, <genre2>] 该数据集的清理方式与 fairseq - dense - 13B - Nerys - v2 相同。

局限性和偏差

基于自然语言处理技术已知的问题，潜在的相关因素包括偏差（性别、职业、种族和宗教）。

许可证

OPT - 6B 遵循 OPT - 175B 许可证，版权所有 (c) Meta Platforms, Inc. 保留所有权利。

BibTeX 引用和引用信息

@misc{zhang2022opt,
      title={OPT: Open Pre-trained Transformer Language Models}, 
      author={Susan Zhang and Stephen Roller and Naman Goyal and Mikel Artetxe and Moya Chen and Shuohui Chen and Christopher Dewan and Mona Diab and Xian Li and Xi Victoria Lin and Todor Mihaylov and Myle Ott and Sam Shleifer and Kurt Shuster and Daniel Simig and Punit Singh Koura and Anjali Sridhar and Tianlu Wang and Luke Zettlemoyer},
      year={2022},
      eprint={2205.01068},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🔧 技术细节

文档未提供具体技术细节，故跳过该章节。

📄 许可证

OPT - 6B 遵循 OPT - 175B 许可证，版权所有 (c) Meta Platforms, Inc. 保留所有权利。