Mt0 Xl

🚀 BLOOMZ & mT0模型介绍

我们推出了BLOOMZ和mT0系列模型，这些模型能够在零样本的情况下，以数十种语言遵循人类指令。我们在跨语言任务混合数据集（xP3）上对BLOOM和mT5预训练的多语言语言模型进行微调，发现得到的模型能够对未见的任务和语言进行跨语言泛化。

🚀 快速开始

模型使用建议

我们建议使用该模型执行自然语言表达的任务。例如，给定提示“Translate to English: Je t’aime.”，模型很可能会回答“I love you.”。以下是论文中的一些提示示例：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
• Suggest at least five related search terms to "Mạng neural nhân tạo".
• Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• Explain in a sentence in Telugu what is backpropagation in neural networks.

欢迎在社区标签中分享你的生成结果！

使用代码示例

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU in 8bit

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 能够在零样本的情况下，以数十种语言遵循人类指令。
• 对未见的任务和语言具有跨语言泛化能力。

📦 安装指南

使用该模型需要安装transformers库，根据不同的使用场景，可能还需要安装accelerate和bitsandbytes库。安装命令如下：

# CPU使用
pip install -q transformers

# GPU使用
pip install -q transformers accelerate

# GPU in 8bit使用
pip install -q transformers accelerate bitsandbytes

🔧 技术细节

模型

• 架构：与mt5-xl相同，也可参考config.json文件。
• 微调步骤：10000步。
• 微调令牌数：18.5亿。
• 精度：bfloat16。

硬件

• TPU：TPUv4 - 128。

软件

• 编排：T5X。
• 神经网络：Jax。

📚 详细文档

模型概述

我们推出的BLOOMZ和mT0系列模型，能够在零样本的情况下，以数十种语言遵循人类指令。通过在跨语言任务混合数据集（xP3）上对BLOOM和mT5预训练的多语言语言模型进行微调，模型展现出了跨语言泛化能力。

模型使用

建议使用该模型执行自然语言表达的任务，性能可能会因提示不同而有所差异。对于BLOOMZ模型，建议明确输入的结束位置，避免模型继续输入内容。同时，应尽可能为模型提供更多的上下文信息。

模型训练

模型架构与mt5-xl相同，经过10000步微调，使用18.5亿个令牌，精度为bfloat16。训练使用TPUv4 - 128硬件，借助T5X进行编排，基于Jax构建神经网络。

模型评估

零样本在未见任务上的结果可参考论文Crosslingual Generalization through Multitask Finetuning中的表7以及bigscience/evaluation-results。侧边栏报告了每个数据集配置下最佳提示的零样本性能。

📄 许可证

本项目采用apache - 2.0许可证。

相关信息

数据集

• bigscience/xP3
• mc4

支持语言

该模型支持以下语言：af, am, ar, az, be, bg, bn, ca, ceb, co, cs, cy, da, de, el, en, eo, es, et, eu, fa, fi, fil, fr, fy, ga, gd, gl, gu, ha, haw, hi, hmn, ht, hu, hy, ig, is, it, iw, ja, jv, ka, kk, km, kn, ko, ku, ky, la, lb, lo, lt, lv, mg, mi, mk, ml, mn, mr, ms, mt, my, ne, nl, 'no', ny, pa, pl, ps, pt, ro, ru, sd, si, sk, sl, sm, sn, so, sq, sr, st, su, sv, sw, ta, te, tg, th, tr, uk, und, ur, uz, vi, xh, yi, yo, zh, zu。

模型指标

模型在多个任务和数据集上的评估指标如下：

BLOOMZ & mT0模型家族

引用

如果您使用了该模型，请引用以下论文：

@article{muennighoff2022crosslingual,
  title={Crosslingual generalization through multitask finetuning},
  author={Muennighoff, Niklas and Wang, Thomas and Sutawika, Lintang and Roberts, Adam and Biderman, Stella and Scao, Teven Le and Bari, M Saiful and Shen, Sheng and Yong, Zheng-Xin and Schoelkopf, Hailey and others},
  journal={arXiv preprint arXiv:2211.01786},
  year={2022}
}

联系信息

• 仓库：[bigscience - workshop/xmtf](https://github.com/bigscience - workshop/xmtf)
• 论文：Crosslingual Generalization through Multitask Finetuning
• 联系人：Niklas Muennighoff

模型使用限制

提示工程：模型性能可能会因提示不同而有所差异。对于BLOOMZ模型，建议明确输入的结束位置，避免模型继续输入内容。例如，提示“Translate to English: Je t'aime”末尾没有句号（.），可能会导致模型继续续写法语句子。更好的提示示例有“Translate to English: Je t'aime.”、“Translate to English: Je t'aime. Translation:”、“What is "Je t'aime." in English?”，这些提示能让模型明确何时开始回答。此外，建议为模型提供尽可能多的上下文信息。例如，如果希望模型用泰卢固语回答，可告知模型，如“Explain in a sentence in Telugu what is backpropagation in neural networks.”。

模型小部件示例