Mt0 Xxl Mt

🚀 BLOOMZ & mT0模型项目

BLOOMZ和mT0是一系列能够零样本遵循多种语言人类指令的模型。通过在跨语言任务混合数据集上微调BLOOM和mT5预训练多语言模型，这些模型能够对未见任务和语言进行跨语言泛化。

🚀 快速开始

预期用途

推荐使用该模型执行自然语言表达的任务。例如，给定提示“Translate to English: Je t’aime.”，模型很可能回答“I love you.”。以下是论文中的一些提示示例：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
• Suggest at least five related search terms to "Mạng neural nhân tạo".
• Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• Explain in a sentence in Telugu what is backpropagation in neural networks.

欢迎在社区标签中分享你的生成结果！

使用方法

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

8位GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 能够零样本遵循多种语言的人类指令。
• 对未见任务和语言具有跨语言泛化能力。

📦 安装指南

CPU环境

# pip install -q transformers

GPU环境

# pip install -q transformers accelerate

8位GPU环境

# pip install -q transformers accelerate bitsandbytes

💻 使用示例

基础用法

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

高级用法

# 如果你想在GPU上使用该模型，可参考以下代码
# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

📚 详细文档

模型概述

我们推出了BLOOMZ和mT0系列模型，这些模型能够零样本遵循多种语言的人类指令。通过在跨语言任务混合数据集（xP3）上微调BLOOM和mT5预训练多语言模型，我们发现这些模型能够对未见任务和语言进行跨语言泛化。

• 仓库地址：bigscience-workshop/xmtf
• 论文地址：Crosslingual Generalization through Multitask Finetuning
• 联系人：Niklas Muennighoff
• 支持语言：预训练语言比例参考mc4，微调语言比例参考xP3。模型能够理解预训练和微调所用的语言。

BLOOMZ和mT0模型家族

🔧 技术细节

模型

• 架构：与mt5-xxl相同，也可参考config.json文件。
• 微调步骤：7000步。
• 微调令牌数：12.9亿。
• 精度：bfloat16。

硬件

• TPU：TPUv4 - 256。

软件

• 编排工具：T5X。
• 神经网络框架：Jax。

📄 许可证

本项目采用apache - 2.0许可证。

📈 评估结果

我们参考论文Crosslingual Generalization through Multitask Finetuning中的表7以及bigscience/evaluation-results获取未见任务的零样本结果。侧边栏报告了每个数据集配置下最佳提示的零样本性能。

模型评估指标

📖 引用

@article{muennighoff2022crosslingual,
  title={Crosslingual generalization through multitask finetuning},
  author={Muennighoff, Niklas and Wang, Thomas and Sutawika, Lintang and Roberts, Adam and Biderman, Stella and Scao, Teven Le and Bari, M Saiful and Shen, Sheng and Yong, Zheng-Xin and Schoelkopf, Hailey and others},
  journal={arXiv preprint arXiv:2211.01786},
  year={2022}
}

⚠️ 重要提示

提示工程

模型的性能可能会因提示的不同而有所差异。对于BLOOMZ模型，建议明确告知输入的结束位置，以避免模型继续生成内容。例如，提示“Translate to English: Je t'aime”如果没有句末的句号（.），模型可能会尝试继续生成法语句子。更好的提示示例包括“Translate to English: Je t'aime.”、“Translate to English: Je t'aime. Translation:”、“What is "Je t'aime." in English?”，这些提示能让模型明确何时开始回答。此外，建议为模型提供尽可能多的上下文信息。例如，如果你希望模型用泰卢固语回答，可告知模型，如“Explain in a sentence in Telugu what is backpropagation in neural networks.”。

数据集信息

小部件示例