MVP开源自然语言生成模型 - 专为多任务设计，免费助力内容生成

首页

Mvp

由 RUCAIBox 开发

MVP是一个基于Transformer架构的多任务监督预训练模型，专为自然语言生成任务设计。

大型语言模型

Transformers

支持多种语言开源协议:Apache-2.0 #多任务文本生成 #监督式预训练 #Transformer架构

下载量 6,146

发布时间 : 5/29/2022

模型简介

MVP模型通过混合标注数据集进行监督式预训练，支持多种自然语言生成任务，如摘要生成、对话系统、故事生成等。

模型特点

多任务支持

支持多种自然语言生成任务，包括摘要生成、对话系统、故事生成等。

监督式预训练

通过混合标注数据集进行监督式预训练，提升模型性能。

灵活的架构

采用标准的Transformer编码器-解码器架构，易于适配不同任务。

模型能力

文本生成

文本到文本生成

摘要生成

对话生成

数据到文本生成

故事生成

问答系统

问题生成

使用案例

摘要生成

摘要生成示例

生成文本的简短摘要。

为什么你不该辞职的理由

数据到文本生成

数据到文本生成示例

将结构化数据转换为自然语言描述。

斯坦·李创造了钢铁侠这一角色，他是美国漫画中出现的虚构超级英雄

对话系统

对话生成示例

生成开放域对话回复。

🚀 MVP模型

MVP模型是一种专为自然语言生成设计的模型，它采用多任务监督预训练的方式，能适应多种生成和理解任务，为自然语言处理提供了强大的支持。

🚀 快速开始

MVP模型由田毅、李俊毅、赵文新和文继荣在论文 MVP: Multi-task Supervised Pre-training for Natural Language Generation 中提出。

详细信息和说明可查看 https://github.com/RUCAIBox/MVP。

✨ 主要特性

多任务适应：MVP经过有监督的预训练，使用了多种标记数据集的混合。它采用标准的Transformer编解码器架构，专门为自然语言生成而设计，可适应广泛的生成任务，包括但不限于摘要生成、数据到文本生成、开放式对话系统、故事生成、问答、问题生成、面向任务的对话系统、常识生成、释义生成、文本风格转换和文本简化。此外，该模型还能适应自然语言理解任务，如序列分类和（抽取式）问答。

💻 使用示例

基础用法

摘要生成

>>> from transformers import MvpTokenizer, MvpForConditionalGeneration

>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")

>>> inputs = tokenizer(
...     "Summarize: You may want to stick it to your boss and leave your job, but don't do it if these are your reasons.",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Why You Shouldn't Quit Your Job"]

数据到文本生成

>>> from transformers import MvpTokenizerFast, MvpForConditionalGeneration

>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")

>>> inputs = tokenizer(
...     "Describe the following data: Iron Man | instance of | Superhero [SEP] Stan Lee | creator | Iron Man",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Stan Lee created the character of Iron Man, a fictional superhero appearing in American comic']

📚 详细文档

📄 许可证

本项目采用Apache - 2.0许可证。

📚 引用

如果您在研究中使用了该模型，请使用以下BibTeX引用：

@article{tang2022mvp,
  title={MVP: Multi-task Supervised Pre-training for Natural Language Generation},
  author={Tang, Tianyi and Li, Junyi and Zhao, Wayne Xin and Wen, Ji-Rong},
  journal={arXiv preprint arXiv:2206.12131},
  year={2022},
  url={https://arxiv.org/abs/2206.12131},
}