Mt0 Xxl

🚀 BLOOMZ与mT0模型介绍

本项目推出了BLOOMZ和mT0模型家族，这些模型能够零样本地遵循多种语言的人类指令。通过在跨语言任务混合数据集（xP3）上对BLOOM和mT5预训练的多语言语言模型进行微调，得到的模型能够对未见任务和语言进行跨语言泛化。

🚀 快速开始

模型使用

你可以通过以下方式使用这些模型：

• 访问模型的Hugging Face仓库，如 bigscience-workshop/xmtf 。
• 参考相关论文 Crosslingual Generalization through Multitask Finetuning 了解更多技术细节。

模型信息

BLOOMZ与mT0模型家族

在 xP3 上进行多任务微调，推荐使用英语进行提示

在 xP3mt 上进行多任务微调，推荐使用非英语进行提示

部分模型信息暂未完整列出。

📚 详细文档

数据集介绍

• xP3：包含46种语言的13个训练任务混合，使用英语提示。例如 bloomz 和 mt0-xxl 模型使用了该数据集。
• xP3mt：46种语言的13个训练任务混合，提示使用20种语言（从英语机器翻译而来）。如 bloomz-mt 和 mt0-xxl-mt 模型。
• xP3all：xP3加上额外的评估数据集，增加了3个任务，共16个任务，使用英语提示。
• xP3megds： Megatron - DeepSpeed 处理版本的xP3，例如 bloomz 模型。
• P3：仅英语的 P3 重新处理版本，包含8个训练任务。如 bloomz-p3 和 mt0-xxl-p3 模型。

示例使用

以下是一些使用示例：

• en - en struct - to - text：<table> <tr> <th>Name</th> <th>Explanation</th> <th>Example models</th></tr> <tr> <td><a href=https://huggingface.co/datasets/bigscience/xP3>xP3</a></t> <td>Mixture of 13 training tasks in 46 languages with English prompts</td> <td><a href=https://huggingface.co/bigscience/bloomz>bloomz</a> & <a href=https://huggingface.co/bigscience/mt0-xxl>mt0-xxl</a></td> </tr> <tr><td><a href=https://huggingface.co/datasets/bigscience/xP3mt>xP3mt</a></t> <td>Mixture of 13 training tasks in 46 languages with prompts in 20 languages (machine-translated from English)</td> <td><a href=https://huggingface.co/bigscience/bloomz-mt>bloomz-mt</a> & <a href=https://huggingface.co/bigscience/mt0-xxl-mt>mt0-xxl-mt</a></td> </tr><tr> <td><a href=https://huggingface.co/datasets/bigscience/xP3all>xP3all</a></t> <td>xP3 + our evaluation datasets adding an additional 3 tasks for a total of 16 tasks in 46 languages with English prompts</td> <td></td> </tr><tr><td><a href=https://huggingface.co/datasets/bigscience/xP3megds>xP3megds</a></t> <td><a href=https://github.com/bigscience-workshop/Megatron-DeepSpeed>Megatron-DeepSpeed</a> processed version of xP3</td> <td><a href=https://huggingface.co/bigscience/bloomz>bloomz</a></td> </tr><tr><td><a href=https://huggingface.co/datasets/Muennighoff/P3>P3</a></t> <td>Repreprocessed version of the English-only <a href=https://huggingface.co/datasets/bigscience/P3>P3</a> with 8 training tasks</td> <td><a href=https://huggingface.co/bigscience/bloomz-p3>bloomz-p3</a> & <a href=https://huggingface.co/bigscience/mt0-xxl-p3>mt0-xxl-p3</a></td> </tr></table> Which dataset has the most tasks?
• mn - en translation：Life is beautiful! Translate to Mongolian.
• jp - or - fr translation：Le mot japonais «憂鬱» veut dire quoi en Odia?
• de - nb quiz：Stell mir eine schwierige Quiz Frage bei der es um Astronomie geht. Bitte stell die Frage auf Norwegisch.
• zh - en keywords：We present BLOOMZ & mT0, a family of models capable of following human instructions in dozens of languages zero-shot. We finetune BLOOM & mT5 pretrained multilingual language models on our crosslingual task mixture (xP3) and find our resulting models capable of crosslingual generalization to unseen tasks & languages. What are the keywords in Chinese?
• zh - en sentiment：一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。Would you rate the previous review as positive, neutral or negative?
• zh - zh sentiment：一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？
• vi - en query：Suggest at least five related search terms to "Mạng neural nhân tạo".
• fr - fr query：Proposez au moins cinq mots clés concernant «Réseau de neurones artificiels».
• te - en qa：Explain in a sentence in Telugu what is backpropagation in neural networks.
• en - en qa：Why is the sky blue?
• es - en fable：Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• hi - en fable：Write a fable about wood elves living in a forest that is suddenly invaded by ogres. The fable is a masterpiece that has achieved praise worldwide and its moral is "Violence is the last refuge of the incompetent". Fable (in Hindi):

🔧 技术细节

评估指标

以 mt0 - xxl 模型为例，在多个任务和数据集上的评估结果如下：

共指消解任务

自然语言推理任务

句子完成任务

📄 许可证

本项目使用 apache - 2.0 许可证。

📝 引用

如果你使用了该模型或相关研究，请引用以下论文： Crosslingual Generalization through Multitask Finetuning