🚀 MVP-multi-task
MVP-multi-task模型是由田一唐、李君毅、趙新偉和文繼榮在MVP: 用於自然語言生成的多任務監督預訓練中提出的。該模型能夠適應多種自然語言生成任務,為自然語言處理領域提供了強大的支持。
🚀 快速開始
詳細信息和說明可查看 https://github.com/RUCAIBox/MVP。
✨ 主要特性
模型描述
MVP-multi-task是一個基於提示的模型,它在MVP模型的基礎上,進一步使用混合標註數據集對提示進行預訓練。它是我們主要的 MVP 模型的一個變體(MVP+M),採用了帶有逐層提示的Transformer編碼器 - 解碼器架構。
MVP專為自然語言生成而設計,可適應廣泛的生成任務,包括但不限於摘要生成、數據到文本生成、開放式對話系統、故事生成、問答、問題生成、面向任務的對話系統、常識生成、釋義生成、文本風格轉換和文本簡化。我們的模型也可適應自然語言理解任務,如序列分類和(抽取式)問答。
💻 使用示例
基礎用法
摘要生成
>>> from transformers import MvpTokenizer, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp-multi-task")
>>> inputs = tokenizer(
... "Summarize: You may want to stick it to your boss and leave your job, but don't do it if these are your reasons.",
... return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Why You Shouldn't Quit Your Job"]
數據到文本生成
>>> from transformers import MvpTokenizerFast, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp-multi-task")
>>> inputs = tokenizer(
... "Describe the following data: Iron Man | instance of | Superhero [SEP] Stan Lee | creator | Iron Man",
... return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Iron Man is a fictional superhero appearing in American comic books published by Marvel Comics.']
📚 詳細文檔
相關模型
📄 許可證
本項目採用 Apache-2.0 許可證。
🔧 引用
@article{tang2022mvp,
title={MVP: Multi-task Supervised Pre-training for Natural Language Generation},
author={Tang, Tianyi and Li, Junyi and Zhao, Wayne Xin and Wen, Ji-Rong},
journal={arXiv preprint arXiv:2206.12131},
year={2022},
url={https://arxiv.org/abs/2206.12131},
}