%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
ZH
Bloomz 7b1
B
Bloomz 7b1
由 bigscience 开发
BLOOMZ-7B1 是一个多语言、多任务的大规模语言模型，支持超过40种语言和多种编程语言，适用于文本生成、情感分析等多种自然语言处理任务。
下载量 27.35k
发布时间 : 9/27/2022
模型简介
BLOOMZ-7B1 是基于 BLOOM 架构的多语言大模型，专注于跨语言文本生成和理解任务。它能够处理包括情感分析、问答、指代消解等多种自然语言处理任务，并支持广泛的编程语言。
模型特点
多语言支持
支持超过40种语言，包括多种非洲和亚洲语言，适用于全球化的多语言应用场景。
多任务处理
能够同时处理文本生成、情感分析、指代消解等多种自然语言处理任务。
编程语言理解
支持多种编程语言，包括 C、C++、Python、Java 等，适用于代码生成和理解任务。
模型能力
文本生成
情感分析
指代消解
自然语言推理
多语言处理
代码生成
使用案例
情感分析
中英情感分析
分析中文或英文文本的情感倾向（正面、中性、负面）。
示例显示模型能够准确识别情感倾向。
问答系统
英语-英语问答
回答用户提出的问题，如“为什么天空是蓝色的？”。
模型能够生成科学准确的解释。
文本生成
西班牙语-英语寓言
根据给定的主题和寓意生成寓言故事。
生成的寓言故事结构完整，寓意明确。
🚀 BLOOMZ & mT0模型项目
BLOOMZ和mT0是一系列能够零样本遵循多种语言人类指令的模型。通过在跨语言任务混合数据集（xP3）上微调BLOOM和mT5预训练多语言模型，这些模型展现出对未见任务和语言的跨语言泛化能力。
🚀 快速开始
本项目主要介绍了BLOOMZ和mT0模型家族，它们在自然语言处理任务中表现出色。你可以根据需求选择不同参数和微调方式的模型。
📚 详细文档
模型概述
- 仓库地址：bigscience - workshop/xmtf
- 论文链接：Crosslingual Generalization through Multitask Finetuning
- 联系人：Niklas Muennighoff
- 支持语言：预训练语言比例参考bloom，微调语言比例参考xP3，模型能理解预训练和微调所用的语言。
BLOOMZ & mT0模型家族
| 微调数据集 | 参数 | 300M | 580M | 1.2B | 3.7B | 13B | 560M | 1.1B | 1.7B | 3B | 7.1B | 176B |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 在xP3上进行多任务微调，推荐用英语提示 | 微调模型 | [mt0 - small](https://huggingface.co/bigscience/mt0 - small) | [mt0 - base](https://huggingface.co/bigscience/mt0 - base) | [mt0 - large](https://huggingface.co/bigscience/mt0 - large) | [mt0 - xl](https://huggingface.co/bigscience/mt0 - xl) | [mt0 - xxl](https://huggingface.co/bigscience/mt0 - xxl) | [bloomz - 560m](https://huggingface.co/bigscience/bloomz - 560m) | [bloomz - 1b1](https://huggingface.co/bigscience/bloomz - 1b1) | [bloomz - 1b7](https://huggingface.co/bigscience/bloomz - 1b7) | [bloomz - 3b](https://huggingface.co/bigscience/bloomz - 3b) | [bloomz - 7b1](https://huggingface.co/bigscience/bloomz - 7b1) | bloomz |
| 在xP3mt上进行多任务微调，推荐用非英语提示 | 微调模型 | [mt0 - xxl - mt](https://huggingface.co/bigscience/mt0 - xxl - mt) | [bloomz - 7b1 - mt](https://huggingface.co/bigscience/bloomz - 7b1 - mt) | [bloomz - mt](https://huggingface.co/bigscience/bloomz - mt) | ||||||||
| 在P3上进行多任务微调，仅用于研究目的，性能不如上述模型 | 微调模型 | [mt0 - xxl - p3](https://huggingface.co/bigscience/mt0 - xxl - p3) | [bloomz - 7b1 - p3](https://huggingface.co/bigscience/bloomz - 7b1 - p3) | [bloomz - p3](https://huggingface.co/bigscience/bloomz - p3) | ||||||||
| 原始预训练检查点，不推荐使用 | 预训练模型 | [mt5 - small](https://huggingface.co/google/mt5 - small) | [mt5 - base](https://huggingface.co/google/mt5 - base) | [mt5 - large](https://huggingface.co/google/mt5 - large) | [mt5 - xl](https://huggingface.co/google/mt5 - xl) | [mt5 - xxl](https://huggingface.co/google/mt5 - xxl) | [bloom - 560m](https://huggingface.co/bigscience/bloom - 560m) | [bloom - 1b1](https://huggingface.co/bigscience/bloom - 1b1) | [bloom - 1b7](https://huggingface.co/bigscience/bloom - 1b7) | [bloom - 3b](https://huggingface.co/bigscience/bloom - 3b) | [bloom - 7b1](https://huggingface.co/bigscience/bloom - 7b1) | bloom |
模型使用
预期用途
建议使用该模型执行自然语言表达的任务。例如，给定提示“Translate to English: Je t’aime.”，模型很可能回答“I love you.”。以下是论文中的一些提示示例：
- 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
- Suggest at least five related search terms to "Mạng neural nhân tạo".
- Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):
- Explain in a sentence in Telugu what is backpropagation in neural networks.
数据集信息
| 属性 | 详情 |
|---|---|
| 数据集 | bigscience/xP3 |
| 许可证 | bigscience - bloom - rail - 1.0 |
| 支持语言 | ak、ar、as、bm、bn、ca、code、en、es、eu、fon、fr、gu、hi、id、ig、ki、kn、lg、ln、ml、mr、ne、nso、ny、or、pa、pt、rn、rw、sn、st、sw、ta、te、tn、ts、tum、tw、ur、vi、wo、xh、yo、zh、zu |
| 编程语言 | C、C++、C#、Go、Java、JavaScript、Lua、PHP、Python、Ruby、Rust、Scala、TypeScript |
| 任务类型 | 文本生成 |
评估结果
模型在多种任务和数据集上进行了评估，以下是部分评估结果：
共指消解任务
| 数据集 | 配置 | 准确率 |
|---|---|---|
| winogrande | xl | 55.8 |
| Muennighoff/xwinograd | en | 66.02 |
| Muennighoff/xwinograd | fr | 57.83 |
| Muennighoff/xwinograd | jp | 52.87 |
| Muennighoff/xwinograd | pt | 57.79 |
| Muennighoff/xwinograd | ru | 54.92 |
| Muennighoff/xwinograd | zh | 63.69 |
自然语言推理任务
| 数据集 | 配置 | 准确率 |
|---|---|---|
| anli | r1 | 42.1 |
| anli | r2 | 39.5 |
| anli | r3 | 41.0 |
| super_glue | cb | 80.36 |
| super_glue | rte | 84.12 |
| xnli | ar | 53.25 |
| xnli | bg | 43.61 |
| xnli | de | 46.83 |
| xnli | el | 41.53 |
| xnli | en | 59.68 |
| xnli | es | 55.1 |
| xnli | fr | 55.26 |
| xnli | hi | 50.88 |
| xnli | ru | 47.75 |
| xnli | sw | 46.63 |
| xnli | th | 40.12 |
| xnli | tr | 37.55 |
| xnli | ur | 46.51 |
| xnli | vi | 52.93 |
| xnli | zh | 53.61 |
程序合成任务
| 数据集 | 指标 | 值 |
|---|---|---|
| openai_humaneval | Pass@1 | 8.06 |
| openai_humaneval | Pass@10 | 15.03 |
| openai_humaneval | Pass@100 | 27.49 |
句子完成任务
| 数据集 | 配置 | 准确率 |
|---|---|---|
| story_cloze | 2016 | 90.43 |
| super_glue | copa | 86.0 |
| xcopa | et | 50.0 |
| xcopa | ht | 54.0 |
| xcopa | id | 76.0 |
| xcopa | it | 61.0 |
| xcopa | qu | 60.0 |
| xcopa | sw | 63.0 |
| xcopa | ta | 64.0 |
| xcopa | th | 57.0 |
| xcopa | tr | 53.0 |
| xcopa | vi | 79.0 |
| xcopa | zh | 81.0 |
| Muennighoff/xstory_cloze | ar | 83.26 |
| Muennighoff/xstory_cloze | es | 88.95 |
| Muennighoff/xstory_cloze | eu | 73.33 |
| Muennighoff/xstory_cloze | hi | 80.61 |
| Muennighoff/xstory_cloze | id | 84.25 |
| Muennighoff/xstory_cloze | my | 52.55 |
| Muennighoff/xstory_cloze | ru | 65.32 |
| Muennighoff/xstory_cloze | sw | 71.67 |
| Muennighoff/xstory_cloze | te | 74.72 |
| Muennighoff/xstory_cloze | zh | 85.37 |
小部件示例
| 文本 | 示例标题 |
|---|---|
| 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。Would you rate the previous review as positive, neutral or negative? | zh - en sentiment |
| 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？ | zh - zh sentiment |
| Suggest at least five related search terms to "Mạng neural nhân tạo". | vi - en query |
| Proposez au moins cinq mots clés concernant «Réseau de neurones artificiels». | fr - fr query |
| Explain in a sentence in Telugu what is backpropagation in neural networks. | te - en qa |
| Why is the sky blue? | en - en qa |
| Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish): | es - en fable |
| Write a fable about wood elves living in a forest that is suddenly invaded by ogres. The fable is a masterpiece that has achieved praise worldwide and its moral is "Violence is the last refuge of the incompetent". Fable (in Hindi): | hi - en fable |
引用信息
如果你使用了本项目的模型或代码，请引用相关论文：Crosslingual Generalization through Multitask Finetuning。
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型，适用于多种NLP任务
大型语言模型
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers 英语
Transformers 英语C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98