MVP開源自然語言生成模型 - 專為多任務設計，免費助力內容生成

首頁

Mvp

由RUCAIBox開發

MVP是一個基於Transformer架構的多任務監督預訓練模型，專為自然語言生成任務設計。

大型語言模型

Transformers

支持多種語言開源協議:Apache-2.0 #多任務文本生成 #監督式預訓練 #Transformer架構

下載量 6,146

發布時間 : 5/29/2022

模型概述

MVP模型通過混合標註數據集進行監督式預訓練，支持多種自然語言生成任務，如摘要生成、對話系統、故事生成等。

模型特點

多任務支持

支持多種自然語言生成任務，包括摘要生成、對話系統、故事生成等。

監督式預訓練

通過混合標註數據集進行監督式預訓練，提升模型性能。

靈活的架構

採用標準的Transformer編碼器-解碼器架構，易於適配不同任務。

模型能力

文本生成

文本到文本生成

摘要生成

對話生成

數據到文本生成

故事生成

問答系統

問題生成

使用案例

摘要生成

摘要生成示例

生成文本的簡短摘要。

為什麼你不該辭職的理由

數據到文本生成

數據到文本生成示例

將結構化數據轉換為自然語言描述。

斯坦·李創造了鋼鐵俠這一角色，他是美國漫畫中出現的虛構超級英雄

對話系統

對話生成示例

生成開放域對話回覆。

🚀 MVP模型

MVP模型是一種專為自然語言生成設計的模型，它採用多任務監督預訓練的方式，能適應多種生成和理解任務，為自然語言處理提供了強大的支持。

🚀 快速開始

MVP模型由田毅、李俊毅、趙文新和文繼榮在論文 MVP: Multi-task Supervised Pre-training for Natural Language Generation 中提出。

詳細信息和說明可查看 https://github.com/RUCAIBox/MVP。

✨ 主要特性

多任務適應：MVP經過有監督的預訓練，使用了多種標記數據集的混合。它採用標準的Transformer編解碼器架構，專門為自然語言生成而設計，可適應廣泛的生成任務，包括但不限於摘要生成、數據到文本生成、開放式對話系統、故事生成、問答、問題生成、面向任務的對話系統、常識生成、釋義生成、文本風格轉換和文本簡化。此外，該模型還能適應自然語言理解任務，如序列分類和（抽取式）問答。

💻 使用示例

基礎用法

摘要生成

>>> from transformers import MvpTokenizer, MvpForConditionalGeneration

>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")

>>> inputs = tokenizer(
...     "Summarize: You may want to stick it to your boss and leave your job, but don't do it if these are your reasons.",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Why You Shouldn't Quit Your Job"]

數據到文本生成

>>> from transformers import MvpTokenizerFast, MvpForConditionalGeneration

>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")

>>> inputs = tokenizer(
...     "Describe the following data: Iron Man | instance of | Superhero [SEP] Stan Lee | creator | Iron Man",
...     return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Stan Lee created the character of Iron Man, a fictional superhero appearing in American comic']

📚 詳細文檔

📄 許可證

本項目採用Apache - 2.0許可證。

📚 引用

如果您在研究中使用了該模型，請使用以下BibTeX引用：

@article{tang2022mvp,
  title={MVP: Multi-task Supervised Pre-training for Natural Language Generation},
  author={Tang, Tianyi and Li, Junyi and Zhao, Wayne Xin and Wen, Ji-Rong},
  journal={arXiv preprint arXiv:2206.12131},
  year={2022},
  url={https://arxiv.org/abs/2206.12131},
}