Mt0 Xxl Mt

🚀 BLOOMZ & mT0模型項目

BLOOMZ和mT0是一系列能夠零樣本遵循多種語言人類指令的模型。通過在跨語言任務混合數據集上微調BLOOM和mT5預訓練多語言模型，這些模型能夠對未見任務和語言進行跨語言泛化。

🚀 快速開始

預期用途

推薦使用該模型執行自然語言表達的任務。例如，給定提示“Translate to English: Je t’aime.”，模型很可能回答“I love you.”。以下是論文中的一些提示示例：

• 一個傳奇的開端，一個不滅的神話，這不僅僅是一部電影，而是作為一個走進新時代的標籤，永遠彪炳史冊。你認為這句話的立場是讚揚、中立還是批評?
• Suggest at least five related search terms to "Mạng neural nhân tạo".
• Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• Explain in a sentence in Telugu what is backpropagation in neural networks.

歡迎在社區標籤中分享你的生成結果！

使用方法

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

8位GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 能夠零樣本遵循多種語言的人類指令。
• 對未見任務和語言具有跨語言泛化能力。

📦 安裝指南

CPU環境

# pip install -q transformers

GPU環境

# pip install -q transformers accelerate

8位GPU環境

# pip install -q transformers accelerate bitsandbytes

💻 使用示例

基礎用法

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

高級用法

# 如果你想在GPU上使用該模型，可參考以下代碼
# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

📚 詳細文檔

模型概述

我們推出了BLOOMZ和mT0系列模型，這些模型能夠零樣本遵循多種語言的人類指令。通過在跨語言任務混合數據集（xP3）上微調BLOOM和mT5預訓練多語言模型，我們發現這些模型能夠對未見任務和語言進行跨語言泛化。

• 倉庫地址：bigscience-workshop/xmtf
• 論文地址：Crosslingual Generalization through Multitask Finetuning
• 聯繫人：Niklas Muennighoff
• 支持語言：預訓練語言比例參考mc4，微調語言比例參考xP3。模型能夠理解預訓練和微調所用的語言。

BLOOMZ和mT0模型家族

🔧 技術細節

模型

• 架構：與mt5-xxl相同，也可參考config.json文件。
• 微調步驟：7000步。
• 微調令牌數：12.9億。
• 精度：bfloat16。

硬件

• TPU：TPUv4 - 256。

軟件

• 編排工具：T5X。
• 神經網絡框架：Jax。

📄 許可證

本項目採用apache - 2.0許可證。

📈 評估結果

我們參考論文Crosslingual Generalization through Multitask Finetuning中的表7以及bigscience/evaluation-results獲取未見任務的零樣本結果。側邊欄報告了每個數據集配置下最佳提示的零樣本性能。

模型評估指標

📖 引用

@article{muennighoff2022crosslingual,
  title={Crosslingual generalization through multitask finetuning},
  author={Muennighoff, Niklas and Wang, Thomas and Sutawika, Lintang and Roberts, Adam and Biderman, Stella and Scao, Teven Le and Bari, M Saiful and Shen, Sheng and Yong, Zheng-Xin and Schoelkopf, Hailey and others},
  journal={arXiv preprint arXiv:2211.01786},
  year={2022}
}

⚠️ 重要提示

提示工程

模型的性能可能會因提示的不同而有所差異。對於BLOOMZ模型，建議明確告知輸入的結束位置，以避免模型繼續生成內容。例如，提示“Translate to English: Je t'aime”如果沒有句末的句號（.），模型可能會嘗試繼續生成法語句子。更好的提示示例包括“Translate to English: Je t'aime.”、“Translate to English: Je t'aime. Translation:”、“What is "Je t'aime." in English?”，這些提示能讓模型明確何時開始回答。此外，建議為模型提供儘可能多的上下文信息。例如，如果你希望模型用泰盧固語回答，可告知模型，如“Explain in a sentence in Telugu what is backpropagation in neural networks.”。

數據集信息

小部件示例