Bloom 1b7

🚀 BLOOM LM

BigScience研发的大型开放科学、开放访问的多语言语言模型，可用于语言生成研究及特定任务微调

📚 详细文档

目录

1. 模型详情
2. 使用场景
3. 偏差、风险与局限性
4. 使用建议
5. 训练数据
6. 评估指标
7. 环境影响
8. 技术规格
9. 引用信息
10. 术语表与计算方法
11. 更多信息
12. 模型卡片作者

模型详情

模型描述

本部分为想了解该模型的用户提供相关信息。

• 研发团队：BigScience（官网）
  • 所有参与者要么是志愿者，要么与所在单位达成了协议。（参与者的详细信息后续公布。）
• 模型类型：基于Transformer的语言模型
• 版本：1.0.0
• 支持语言：多种语言；详见训练数据
• 许可证：RAIL许可证v1.0（链接）
• 预计发布日期：2022年7月11日，星期一
• 资助方：
  • 法国政府
  • Hugging Face（官网）
  • 贡献者所在的组织。（组织的详细信息后续公布。）

使用场景

本部分解答了关于模型预期用途的问题，讨论了模型的潜在用户（包括受模型影响的用户），并描述了超出模型适用范围或不当使用的情况。它为考虑使用该模型或受模型影响的用户提供信息。

预期用途

本模型旨在推动大型语言模型（LLM）的公开研究。LLM可用于语言生成，或作为预训练基础模型，进一步针对特定任务进行微调。以下使用场景并非详尽无遗。

• 直接使用：
  • 文本生成
  • 探索语言模型生成语言的特征
    • 示例：完形填空测试、反事实推理、重新构建的文本生成
• 下游使用：
  • 利用语言模型的任务包括：信息提取、问答系统、文本摘要

不当使用和超出适用范围的使用

本部分说明了用户不应使用该模型的情况。 请参阅BLOOM许可证附件A中的详细使用限制。以下列表并非详尽无遗，但列出了一些容易预见的有问题的使用场景。

• 超出适用范围的使用：
  • 在高风险场景中使用该模型超出了其适用范围。该模型并非为关键决策而设计，也不适用于对个人生计或福祉有重大影响的用途。模型输出的内容可能看似事实，但实际上并不正确。
  • 超出适用范围的使用包括：
    • 在生物医学、政治和法律、金融领域的使用
    • 用于评估或评分个人，如就业、教育或信用评估
    • 用于关键自动决策、生成事实内容、创建可靠摘要或生成必须正确的预测
• 不当使用：
  • 故意使用该模型造成伤害、侵犯人权或进行其他恶意活动，均属于对该模型的不当使用。这包括：
    • 生成垃圾邮件
    • 传播虚假信息和进行影响操作
    • 诋毁和诽谤
    • 骚扰和虐待
    • 欺骗
    • 未经同意的模仿和假冒
    • 未经同意的监视
    • 未按照RAIL许可证使用限制的规定对模型进行标注而生成内容

预期用户

• 直接用户：
  • 普通公众
  • 研究人员
  • 学生
  • 教育工作者
  • 工程师/开发者
  • 非商业实体
  • 社区倡导者，包括人权和公民权利组织
• 间接用户：
  • 使用直接用户创建的衍生产品的用户，如使用具有预期用途的软件的用户
  • 使用许可证中描述的模型衍生产品的用户
• 其他受影响方：
  • 被LLM提及的个人和群体
  • 接触LLM输出内容或基于LLM做出决策的个人和群体
  • 其原创作品被纳入LLM的个人和群体

偏差、风险与局限性

本部分识别了可预见的危害和误解。 模型可能存在以下问题：

• 过度代表某些观点，而忽视其他观点
• 包含刻板印象
• 包含个人信息
• 生成：
  • 仇恨、辱骂或暴力语言
  • 歧视性或偏见性语言
  • 可能不适合所有场景的内容，包括色情内容
• 出现错误，包括将不正确的信息当作事实输出
• 生成无关或重复的输出

使用建议

本部分提供了警告和潜在缓解措施的信息。

• 间接用户在处理由LLM创建的内容时应被告知。
• 用户应了解风险和局限性，并根据需要提供适当的年龄声明或屏蔽界面。
• 使用LLM进行预训练的模型应包含更新后的模型卡片。
• 模型用户应为受影响的人提供反馈机制，如用于接收评论的电子邮件地址。

训练数据

本部分提供了训练数据的高级概述。对于想了解模型学习基础的用户来说，这部分内容很有帮助。 每个数据集的详细信息可在单独的数据卡片中找到。 训练数据包括：

• 45种自然语言
• 12种编程语言
• 1.5TB的预处理文本，转换为3500亿个唯一标记（更多信息请参阅标记化部分）

语言分布

饼图展示了训练数据中语言的分布情况。

以下表格展示了训练数据中尼日尔 - 刚果语系和印度语系语言的进一步分布情况。

以下表格展示了编程语言的分布情况。

评估指标

本部分描述了评估协议并提供了评估结果。

评估指标

本部分描述了计算性能的不同方法及其原因。 包括：

此外，针对特定任务还有多种不同的评估指标。（评估协议完成后将提供更多评估指标。）

影响因素

本部分列出了影响BLOOM模型的一些不同方面。重点关注那些可能导致模型行为出现高方差的因素。

• 语言，如英语或约鲁巴语
• 领域，如新闻专线或故事
• 人口统计学特征，如性别或国籍

评估结果

结果基于影响因素和评估指标。 训练时评估： 截至2022年5月25日，太平洋标准时间15:00：

• 训练损失：2.0
• 验证损失：2.2
• 困惑度：8.9 （模型训练结束后将提供更多评估分数。）
• BLOOM书籍：阅读基于社区提供的提示从BLOOM生成的内容

环境影响

训练用超级计算机Jean Zay（官网）主要使用核能。其产生的热量被用于为校园住房供暖。 预计碳排放量：（训练完成后公布。） 预计用电量：（训练完成后公布。）

技术规格

本部分为从事模型开发的人员提供信息。 有关重复训练的完整详细信息，请参阅BLOOM训练README。

模型架构

基于Megatron - LM GPT2进行修改（详见论文，BLOOM Megatron代码）：

• 仅解码器架构
• 对词嵌入层应用层归一化（StableEmbedding；详见代码，论文）
• ALiBI位置编码（详见论文），使用GeLU激活函数
• 1,722,408,960个参数：
  • 513,802,240个嵌入参数
  • 24层，16个注意力头
  • 隐藏层维度为2048
  • 使用2048个标记的序列长度（详见BLOOM标记器，标记器描述）

目标函数

使用均值缩减的交叉熵（详见API文档）。

计算基础设施

由法国政府提供的Jean Zay公共超级计算机（详见公告）。

• 硬件：64个V100 16/32GB GPU（16个节点）：
  • 每个节点4个GPU
  • 每个任务40个CPU
  • 每个节点1个任务
  • CPU：AMD
  • 每个节点CPU内存：160GB
  • 每个节点GPU内存：64GB或128GB（取决于训练期间节点的可用性）
  • 节点间连接：Omni - Path架构（OPA）
  • NCCL通信网络：完全专用子网
  • 磁盘I/O网络：与其他类型节点共享网络
• 软件：
  • Megatron - DeepSpeed（Github链接）
  • DeepSpeed（Github链接）
  • PyTorch（pytorch - 1.11 w/ CUDA - 11.5；详见Github链接）
  • apex（Github链接）

训练信息

• 检查点大小：
  • Fp16权重：2.6GB（参数数量 * 2）
  • 包含优化器状态的完整检查点：--
• 训练吞吐量：--
• 训练轮数：1
• 训练日期：
  • 开始时间：2022年3月11日，太平洋标准时间上午11:42
  • 结束时间：2022年5月20日
• 服务器训练地点：法国法兰西岛大区

标记化

BLOOM标记器（链接）是一个基于以下方法训练的学习型子词标记器：

• 字节级字节对编码（BPE）算法
• 简单的预标记规则，无归一化
• 词汇表大小为250,680 它是在语料库的一个初步版本的子集上使用每种语言的alpha加权进行训练的。

引用信息

引用格式：BigScience, BigScience Language Open - science Open - access Multilingual (BLOOM) Language Model. International, May 2021 - May 2022

术语表与计算方法

本部分定义了常用术语以及指标的计算方法。

• 损失：计算模型学习结果与数据实际情况（“真实值”）之间的差异。损失值越低越好。训练过程旨在最小化损失。
• 困惑度：基于模型对新数据概率的估计。困惑度越低越好。如果模型在预测下一个标记时100%正确，则困惑度为1。在数学上，这是使用熵来计算的。
• 高风险场景：如欧盟提议的人工智能（AI）法案中确定的“高风险AI系统”和“不可接受风险AI系统”。
• 关键决策：如美国提议的算法问责法案中定义的决策。
• 人权：包括世界人权宣言中定义的权利。
• 个人数据和个人信息：个人数据和信息在多个数据保护法规中都有定义，例如欧盟通用数据保护条例中的“个人数据”；南非共和国个人信息保护法中的“个人信息”；中华人民共和国个人信息保护法中的相关定义。
• 敏感特征：包括人权（详见世界人权宣言第2条）和个人信息法规（详见GDPR 第9条；个人信息保护法第1章）中特别保护的类别。
• 欺骗：故意误导个人相信虚假信息，例如在社交媒体上创建虚假机器人或聊天机器人冒充真人，或在未让消费者知晓文本是机器生成的情况下生成文本文件。

更多信息

数据集创建

详细介绍数据集创建过程中设计选择的博客文章：https://bigscience.huggingface.co/blog/building-a-tb-scale-multilingual-dataset-for-language-modeling

技术规格

总结如何选择架构、规模、形状和预训练时长的博客文章：https://bigscience.huggingface.co/blog/what-language-model-to-train-if-you-have-two-million-gpu-hours 有关架构/优化器的更多详细信息：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml 关于硬件/工程方面的博客文章：https://bigscience.huggingface.co/blog/which-hardware-to-train-a-176b-parameters-model 训练使用的分布式设置的详细信息：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml 训练期间更新的Tensorboard：https://huggingface.co/bigscience/tr11-176B-ml-logs/tensorboard#scalars&tagFilter=loss 关于如何进行训练的见解和负面结果：https://github.com/bigscience-workshop/bigscience/blob/master/train/lessons-learned.md 工程方面在准备过程中克服的障碍的详细信息（不稳定性、训练吞吐量优化、众多技术技巧和问题）：https://github.com/bigscience-workshop/bigscience/blob/master/train/tr11-176B-ml/chronicles.md

初始结果

使用临时检查点进行的初始提示实验：https://huggingface.co/spaces/bigscience/bloom-book

模型卡片作者

按大致时间顺序和投入时间排序。 Margaret Mitchell, Giada Pistilli, Yacine Jernite, Ezinwanne Ozoani, Marissa Gerchick, Nazneen Rajani, Sasha Luccioni, Irene Solaiman, Maraim Masoud, Somaieh Nikpoor, Carlos Muñoz Ferrandis, Stas Bekman, Christopher Akiki, Danish Contractor, David Lansky, Angelina McMillan - Major, Tristan Thrush, Suzana Ilić, Gérard Dupont