Bloomz 3b

🚀 BLOOMZ & mT0模型

BLOOMZ和mT0是一系列能够零样本遵循多种语言人类指令的模型。通过在跨语言任务混合集（xP3）上对BLOOM和mT5预训练多语言模型进行微调，这些模型能够对未见任务和语言进行跨语言泛化。

📚 详细文档

目录

1. 模型概述
2. 使用方法
3. 局限性
4. 训练情况
5. 评估结果
6. 引用信息

模型概述

我们推出了BLOOMZ和mT0模型家族，这些模型能够零样本遵循数十种语言的人类指令。我们在跨语言任务混合集（xP3）上对BLOOM和mT5预训练多语言模型进行微调，发现得到的模型能够对未见任务和语言进行跨语言泛化。

• 仓库地址：bigscience - workshop/xmtf
• 论文链接：Crosslingual Generalization through Multitask Finetuning
• 联系人：Niklas Muennighoff
• 支持语言：预训练语言比例参考bloom，微调语言比例参考xP3。模型能理解预训练和微调所用的语言。
• BLOOMZ和mT0模型家族：

使用方法

预期用途

我们建议使用该模型执行自然语言表达的任务。例如，给定提示“Translate to English: Je t’aime.”，模型很可能会回答“I love you.”。以下是论文中的一些提示示例：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
• Suggest at least five related search terms to "Mạng neural nhân tạo".
• Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• Explain in a sentence in Telugu what is backpropagation in neural networks.

局限性

文档中未提及相关内容。

训练情况

数据集

• 训练数据集：bigscience/xP3

支持语言

• 语言列表：ak、ar、as、bm、bn、ca、code、en、es、eu、fon、fr、gu、hi、id、ig、ki、kn、lg、ln、ml、mr、ne、nso、ny、or、pa、pt、rn、rw、sn、st、sw、ta、te、tn、ts、tum、tw、ur、vi、wo、xh、yo、zh、zu

编程语言

• 支持的编程语言：C、C++、C#、Go、Java、JavaScript、Lua、PHP、Python、Ruby、Rust、Scala、TypeScript

评估结果

模型名称

• bloomz - 3b1

评估任务及结果

引用信息

文档中未提及相关内容。

许可证

• 许可证信息：bigscience - bloom - rail - 1.0