Bloomz P3

🚀 BLOOMZ & mT0模型项目

BLOOMZ与mT0是一系列能够以零样本方式遵循多种语言人类指令的模型。它们通过在跨语言任务混合数据集上微调预训练的多语言语言模型，实现了对未见任务和语言的跨语言泛化能力。

🚀 快速开始

本项目的模型可用于执行自然语言表达的任务。例如，输入提示“Translate to English: Je t’aime.”，模型很可能会输出“I love you.”。以下是一些来自论文的提示示例：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
• Suggest at least five related search terms to "Mạng neural nhân tạo".
• Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• Explain in a sentence in Telugu what is backpropagation in neural networks.

✨ 主要特性

• 多语言支持：支持多种语言，包括但不限于英语、中文、法语、西班牙语等。
• 零样本学习：能够在未见任务和语言上进行跨语言泛化。
• 多任务微调：通过在跨语言任务混合数据集上微调，提升模型性能。

📚 详细文档

模型概述

我们推出了BLOOMZ和mT0模型家族，这些模型能够零样本地遵循几十种语言的人类指令。我们在跨语言任务混合数据集（xP3）上对BLOOM和mT5预训练的多语言语言模型进行微调，发现得到的模型能够对未见任务和语言进行跨语言泛化。

• 仓库地址：bigscience - workshop/xmtf
• 论文地址：Crosslingual Generalization through Multitask Finetuning
• 联系人：Niklas Muennighoff
• 支持语言：预训练语言比例参考bloom，微调语言比例参考xP3。模型能够理解预训练和微调所用的语言。

BLOOMZ & mT0模型家族

数据集

• 使用数据集：Muennighoff/P3
• 支持语言：
  • ak、ar、as、bm、bn、ca、code、en、es、eu、fon、fr、gu、hi、id、ig、ki、kn、lg、ln、ml、mr、ne、nso、ny、or、pa、pt、rn、rw、sn、st、sw、ta、te、tn、ts、tum、tw、ur、vi、wo、xh、yo、zh、zu
• 编程语言：C、C++、C#、Go、Java、JavaScript、Lua、PHP、Python、Ruby、Rust、Scala、TypeScript
• 任务类型：text - generation

推理示例

评估结果

📄 许可证

本项目使用的许可证为bigscience - bloom - rail - 1.0。