Fairseq Dense 13B Janeway

🚀 Fairseq-dense 13B - Janeway

Fairseq-dense 13B - Janeway是使用Fairseq的MoE密集模型创建的微调模型，可用于文本生成等自然语言处理任务。

🚀 快速开始

你可以直接使用文本生成管道来使用此模型。以下示例每次运行时都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-13B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

✨ 主要特性

Fairseq-dense 13B - Janeway 基于 Fairseq 的 MoE 密集模型进行微调，具有以下特点：

• 利用大量电子书数据进行训练，在科幻和奇幻等特定领域可能表现出色。
• 可直接通过文本生成管道使用，方便快捷。

📦 安装指南

文档未提及安装步骤，如需使用该模型，可参考 transformers 库的安装与使用说明。

💻 使用示例

基础用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-13B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

📚 详细文档

模型描述

Fairseq-dense 13B - Janeway 是使用 Fairseq 的 MoE 密集模型创建的微调模型。

训练数据

训练数据包含约 2210 本电子书，主要是科幻和奇幻类型。该数据集与 GPT-Neo-2.7B - Janeway 使用的数据集相同。数据集的某些部分已使用以下文本作为前缀：[Genre: <genre1>,<genre2>]

局限性和偏差

基于 NLP 技术已知的问题，潜在的相关因素包括偏差（性别、职业、种族和宗教）。

BibTeX 引用和引用信息

Artetxe et al. (2021): Efficient Large Scale Language Modeling with Mixtures of Experts

📄 许可证

本项目采用 MIT 许可证。