Mt0 Xl

🚀 BLOOMZ & mT0模型介紹

我們推出了BLOOMZ和mT0系列模型，這些模型能夠在零樣本的情況下，以數十種語言遵循人類指令。我們在跨語言任務混合數據集（xP3）上對BLOOM和mT5預訓練的多語言語言模型進行微調，發現得到的模型能夠對未見的任務和語言進行跨語言泛化。

🚀 快速開始

模型使用建議

我們建議使用該模型執行自然語言表達的任務。例如，給定提示“Translate to English: Je t’aime.”，模型很可能會回答“I love you.”。以下是論文中的一些提示示例：

• 一個傳奇的開端，一個不滅的神話，這不僅僅是一部電影，而是作為一個走進新時代的標籤，永遠彪炳史冊。你認為這句話的立場是讚揚、中立還是批評?
• Suggest at least five related search terms to "Mạng neural nhân tạo".
• Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• Explain in a sentence in Telugu what is backpropagation in neural networks.

歡迎在社區標籤中分享你的生成結果！

使用代碼示例

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU in 8bit

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 能夠在零樣本的情況下，以數十種語言遵循人類指令。
• 對未見的任務和語言具有跨語言泛化能力。

📦 安裝指南

使用該模型需要安裝transformers庫，根據不同的使用場景，可能還需要安裝accelerate和bitsandbytes庫。安裝命令如下：

# CPU使用
pip install -q transformers

# GPU使用
pip install -q transformers accelerate

# GPU in 8bit使用
pip install -q transformers accelerate bitsandbytes

🔧 技術細節

模型

• 架構：與mt5-xl相同，也可參考config.json文件。
• 微調步驟：10000步。
• 微調令牌數：18.5億。
• 精度：bfloat16。

硬件

• TPU：TPUv4 - 128。

軟件

• 編排：T5X。
• 神經網絡：Jax。

📚 詳細文檔

模型概述

我們推出的BLOOMZ和mT0系列模型，能夠在零樣本的情況下，以數十種語言遵循人類指令。通過在跨語言任務混合數據集（xP3）上對BLOOM和mT5預訓練的多語言語言模型進行微調，模型展現出了跨語言泛化能力。

模型使用

建議使用該模型執行自然語言表達的任務，性能可能會因提示不同而有所差異。對於BLOOMZ模型，建議明確輸入的結束位置，避免模型繼續輸入內容。同時，應儘可能為模型提供更多的上下文信息。

模型訓練

模型架構與mt5-xl相同，經過10000步微調，使用18.5億個令牌，精度為bfloat16。訓練使用TPUv4 - 128硬件，藉助T5X進行編排，基於Jax構建神經網絡。

模型評估

零樣本在未見任務上的結果可參考論文Crosslingual Generalization through Multitask Finetuning中的表7以及bigscience/evaluation-results。側邊欄報告了每個數據集配置下最佳提示的零樣本性能。

📄 許可證

本項目採用apache - 2.0許可證。

相關信息

數據集

• bigscience/xP3
• mc4

支持語言

該模型支持以下語言：af, am, ar, az, be, bg, bn, ca, ceb, co, cs, cy, da, de, el, en, eo, es, et, eu, fa, fi, fil, fr, fy, ga, gd, gl, gu, ha, haw, hi, hmn, ht, hu, hy, ig, is, it, iw, ja, jv, ka, kk, km, kn, ko, ku, ky, la, lb, lo, lt, lv, mg, mi, mk, ml, mn, mr, ms, mt, my, ne, nl, 'no', ny, pa, pl, ps, pt, ro, ru, sd, si, sk, sl, sm, sn, so, sq, sr, st, su, sv, sw, ta, te, tg, th, tr, uk, und, ur, uz, vi, xh, yi, yo, zh, zu。

模型指標

模型在多個任務和數據集上的評估指標如下：

BLOOMZ & mT0模型家族

引用

如果您使用了該模型，請引用以下論文：

@article{muennighoff2022crosslingual,
  title={Crosslingual generalization through multitask finetuning},
  author={Muennighoff, Niklas and Wang, Thomas and Sutawika, Lintang and Roberts, Adam and Biderman, Stella and Scao, Teven Le and Bari, M Saiful and Shen, Sheng and Yong, Zheng-Xin and Schoelkopf, Hailey and others},
  journal={arXiv preprint arXiv:2211.01786},
  year={2022}
}

聯繫信息

• 倉庫：[bigscience - workshop/xmtf](https://github.com/bigscience - workshop/xmtf)
• 論文：Crosslingual Generalization through Multitask Finetuning
• 聯繫人：Niklas Muennighoff

模型使用限制

提示工程：模型性能可能會因提示不同而有所差異。對於BLOOMZ模型，建議明確輸入的結束位置，避免模型繼續輸入內容。例如，提示“Translate to English: Je t'aime”末尾沒有句號（.），可能會導致模型繼續續寫法語句子。更好的提示示例有“Translate to English: Je t'aime.”、“Translate to English: Je t'aime. Translation:”、“What is "Je t'aime." in English?”，這些提示能讓模型明確何時開始回答。此外，建議為模型提供儘可能多的上下文信息。例如，如果希望模型用泰盧固語回答，可告知模型，如“Explain in a sentence in Telugu what is backpropagation in neural networks.”。

模型小部件示例