Fairseq Dense 13B Janeway

🚀 Fairseq-dense 13B - Janeway

Fairseq-dense 13B - Janeway是使用Fairseq的MoE密集模型創建的微調模型，可用於文本生成等自然語言處理任務。

🚀 快速開始

你可以直接使用文本生成管道來使用此模型。以下示例每次運行時都會生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-13B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

✨ 主要特性

Fairseq-dense 13B - Janeway 基於 Fairseq 的 MoE 密集模型進行微調，具有以下特點：

• 利用大量電子書數據進行訓練，在科幻和奇幻等特定領域可能表現出色。
• 可直接通過文本生成管道使用，方便快捷。

📦 安裝指南

文檔未提及安裝步驟，如需使用該模型，可參考 transformers 庫的安裝與使用說明。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-13B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

📚 詳細文檔

模型描述

Fairseq-dense 13B - Janeway 是使用 Fairseq 的 MoE 密集模型創建的微調模型。

訓練數據

訓練數據包含約 2210 本電子書，主要是科幻和奇幻類型。該數據集與 GPT-Neo-2.7B - Janeway 使用的數據集相同。數據集的某些部分已使用以下文本作為前綴：[Genre: <genre1>,<genre2>]

侷限性和偏差

基於 NLP 技術已知的問題，潛在的相關因素包括偏差（性別、職業、種族和宗教）。

BibTeX 引用和引用信息

Artetxe et al. (2021): Efficient Large Scale Language Modeling with Mixtures of Experts

📄 許可證

本項目採用 MIT 許可證。