Bloomz P3

🚀 BLOOMZ & mT0模型項目

BLOOMZ與mT0是一系列能夠以零樣本方式遵循多種語言人類指令的模型。它們通過在跨語言任務混合數據集上微調預訓練的多語言語言模型，實現了對未見任務和語言的跨語言泛化能力。

🚀 快速開始

本項目的模型可用於執行自然語言表達的任務。例如，輸入提示“Translate to English: Je t’aime.”，模型很可能會輸出“I love you.”。以下是一些來自論文的提示示例：

• 一個傳奇的開端，一個不滅的神話，這不僅僅是一部電影，而是作為一個走進新時代的標籤，永遠彪炳史冊。你認為這句話的立場是讚揚、中立還是批評?
• Suggest at least five related search terms to "Mạng neural nhân tạo".
• Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
• Explain in a sentence in Telugu what is backpropagation in neural networks.

✨ 主要特性

• 多語言支持：支持多種語言，包括但不限於英語、中文、法語、西班牙語等。
• 零樣本學習：能夠在未見任務和語言上進行跨語言泛化。
• 多任務微調：通過在跨語言任務混合數據集上微調，提升模型性能。

📚 詳細文檔

模型概述

我們推出了BLOOMZ和mT0模型家族，這些模型能夠零樣本地遵循幾十種語言的人類指令。我們在跨語言任務混合數據集（xP3）上對BLOOM和mT5預訓練的多語言語言模型進行微調，發現得到的模型能夠對未見任務和語言進行跨語言泛化。

• 倉庫地址：bigscience - workshop/xmtf
• 論文地址：Crosslingual Generalization through Multitask Finetuning
• 聯繫人：Niklas Muennighoff
• 支持語言：預訓練語言比例參考bloom，微調語言比例參考xP3。模型能夠理解預訓練和微調所用的語言。

BLOOMZ & mT0模型家族

數據集

• 使用數據集：Muennighoff/P3
• 支持語言：
  • ak、ar、as、bm、bn、ca、code、en、es、eu、fon、fr、gu、hi、id、ig、ki、kn、lg、ln、ml、mr、ne、nso、ny、or、pa、pt、rn、rw、sn、st、sw、ta、te、tn、ts、tum、tw、ur、vi、wo、xh、yo、zh、zu
• 編程語言：C、C++、C#、Go、Java、JavaScript、Lua、PHP、Python、Ruby、Rust、Scala、TypeScript
• 任務類型：text - generation

推理示例

評估結果

📄 許可證

本項目使用的許可證為bigscience - bloom - rail - 1.0。