Bloom 350m

🚀 BLOOM LM

大科学开放科学、开放访问的多语言大语言模型，助力公共研究探索语言生成新可能

🚀 快速开始

此部分文档未提供快速开始的相关内容，但你可以按照以下指引进一步了解和使用该模型：

1. 阅读模型详情，了解模型的基本信息、技术规格、环境影响等。
2. 查看使用说明，明确模型的预期用途、误用和超出范围的使用情况。
3. 参考训练数据，了解模型训练所使用的数据。
4. 关注风险和局限性，知悉模型可能存在的问题。
5. 查看评估结果，了解模型的性能指标。
6. 遵循使用建议，确保正确、安全地使用模型。

✨ 主要特性

• 多语言支持：支持多种自然语言和编程语言，包括但不限于英语、法语、中文、日语、韩语等，以及Java、Python、C++等编程语言。
• 开放科学与开放访问：由BigScience团队开发，所有协作者均为志愿者或与雇主达成协议，旨在推动大语言模型的公共研究。
• 基于Transformer架构：采用基于Transformer的语言模型架构，具有强大的语言理解和生成能力。
• 灵活应用：可用于文本生成、探索语言模型生成语言的特征，也可作为预训练基础模型，进一步微调用于特定任务，如信息提取、问答、摘要等。

📚 详细文档

模型详情

基础信息

• 开发团队：BigScience（官网）
• 模型类型：基于Transformer的语言模型
• 版本：1.0.0
• 支持语言：多种；详见训练数据
• 许可证：RAIL许可证v1.0（链接）
• 预计发布日期：2022年7月11日（周一）
• 咨询邮箱：bigscience-contact@googlegroups.com
• 引用方式：BigScience, BigScience Language Open-science Open-access Multilingual (BLOOM) Language Model. International, May 2021 - May 2022
• 资助方：
  • 法国政府
  • Hugging Face（官网）
  • 贡献者所在组织（各组织详情待补充）

技术规格

请参考BLOOM训练README以获取训练复现的完整细节。

• 模型架构：基于Megatron - LM GPT2修改（详见论文，BLOOM Megatron代码）：
  • 仅解码器架构
  • 对词嵌入层应用层归一化（StableEmbedding；详见代码，论文）
  • ALiBI位置编码（详见论文），使用GeLU激活函数
  • 3.5亿参数：
    • 24层，16个注意力头
    • 隐藏层维度为1024
    • 使用2048个标记的序列长度（详见BLOOM分词器，分词器描述）
• 目标函数：交叉熵损失（详见API文档）
• 计算基础设施：由法国政府提供的Jean Zay公共超级计算机（详见公告）：
  • 硬件：384个A100 80GB GPU（48个节点）：
    • 额外32个A100 80GB GPU（4个节点）作为备用
    • 每个节点8个GPU，使用NVLink 4 GPU间连接，4条OmniPath链路
    • CPU：AMD
    • 每个节点CPU内存：512GB
    • 每个节点GPU内存：640GB
    • 节点间连接：Omni - Path架构（OPA）
    • NCCL通信网络：专用子网
    • 磁盘IO网络：与其他类型节点共享网络
  • 软件：
    • Megatron - DeepSpeed（Github链接）
    • DeepSpeed（Github链接）
    • PyTorch（pytorch - 1.11 w/ CUDA - 11.5；详见Github链接）
    • apex（Github链接）

训练信息

• 训练日志：Tensorboard链接
• 检查点大小：
  • Bf16权重：329GB
  • 包含优化器状态的完整检查点：2.3TB
• 训练吞吐量：约每个GPU每秒150 TFLOP
• 训练轮数：1（当前目标）
• 训练时间：
  • 开始时间：2022年3月11日上午11:42（太平洋标准时间）
  • 预计结束时间：2022年7月5日
• 预计训练成本：相当于200 - 500万美元的云计算费用（包括初步实验）
• 服务器训练地点：法国法兰西岛

分词器

BLOOM分词器（链接）是一个学习型子词分词器，使用以下方法训练：

• 字节级字节对编码（BPE）算法
• 简单的预分词规则，无归一化
• 词汇表大小为250,680 它在语料库的一个初步版本的子集上使用每种语言的alpha加权进行训练。

环境影响

训练用超级计算机Jean Zay（官网）主要使用核能，其产生的热量用于校园住房供暖。

• 预计碳排放：（训练完成后提供）
• 预计用电量：（训练完成后提供）

使用说明

预期用途

本模型旨在推动大语言模型（LLM）的公共研究。LLM可用于语言生成，或作为预训练基础模型，进一步微调用于特定任务。以下使用案例并非详尽无遗。

• 直接使用：
  • 文本生成
  • 探索语言模型生成语言的特征，例如完形填空测试、反事实情况、重新构建的生成
• 下游使用：
  • 利用语言模型的任务包括：信息提取、问答、摘要

误用和超出范围的使用

请参阅BLOOM许可证附件A以获取详细的使用限制。以下列表并非详尽无遗，但列出了一些容易预见的有问题的使用案例。

• 超出范围的使用：
  • 在高风险环境中使用本模型超出了其适用范围。该模型并非为关键决策设计，也不适用于对个人生计或福祉有重大影响的使用场景。模型输出的内容可能看似事实，但并不正确。
  • 超出范围的使用包括：
    • 在生物医学、政治和法律、金融领域使用
    • 用于评估或评分个人，例如就业、教育或信用评估
    • 用于关键自动决策、生成事实内容、创建可靠摘要或生成必须正确的预测
• 误用：
  • 故意使用模型造成伤害、违反人权或进行其他恶意活动，均属于对本模型的误用。这包括：
    • 垃圾邮件生成
    • 虚假信息和影响操作
    • 诋毁和诽谤
    • 骚扰和虐待
    • 欺骗
    • 未经同意的模仿和假冒
    • 未经同意的监视
    • 未按照RAIL许可证使用限制对模型进行归因的内容生成

预期用户

• 直接用户：
  • 普通公众
  • 研究人员
  • 学生
  • 教育工作者
  • 工程师/开发者
  • 非商业实体
  • 社区倡导者，包括人权和公民权利组织
• 间接用户：
  • 使用直接用户创建的衍生产品的用户，例如使用具有预期用途的软件的用户
  • 使用许可证中描述的模型衍生产品的用户
• 其他受影响方：
  • 大语言模型提及的个人和群体
  • 接触大语言模型输出内容或基于其决策的个人和群体
  • 其原创作品被纳入大语言模型的个人和群体

训练数据

每个数据集的详细信息请参阅各个数据卡片。

• 训练数据包括：
  • 45种自然语言
  • 12种编程语言
  • 1.5TB预处理文本，转换为3500亿个唯一标记（详见分词器部分）

自然语言分布

以下表格展示了训练数据中尼日尔 - 刚果语系和印度语系语言的进一步分布情况：

编程语言分布

风险和局限性

模型可能存在以下问题：

• 过度代表某些观点，而对其他观点代表不足
• 包含刻板印象
• 包含个人信息
• 生成：
  • 仇恨、辱骂或暴力语言
  • 歧视性或偏见性语言
  • 可能不适用于所有场景的内容，包括色情内容
• 出现错误，包括输出看似事实但不正确的信息
• 生成无关或重复的输出

评估

评估指标

针对特定任务还有多种不同的指标。（评估协议完成后将提供更多评估指标。）

影响因素

• 语言，例如英语或约鲁巴语
• 领域，例如新闻专线或故事
• 人口统计学特征，例如性别或国籍

评估结果

训练时评估：截至2022年5月25日15:00（太平洋标准时间）：

• 训练损失：2.0
• 验证损失：2.2
• 困惑度：8.9

（模型训练结束后将提供更多评估分数。）

使用建议

• 间接用户在处理由大语言模型生成的内容时应被告知。
• 用户应了解风险和局限性，并根据需要包含适当的年龄声明或屏蔽界面。
• 使用大语言模型预训练的模型应包含更新的模型卡片。
• 模型用户应提供受影响者反馈的机制，例如用于评论的电子邮件地址。

术语表和计算方法

• 损失：计算模型学习内容与数据显示内容（“真实情况”）之间的差异。损失越低越好。训练过程旨在最小化损失。
• 困惑度：基于模型对新数据概率的估计。困惑度越低越好。如果模型在预测下一个标记时100%正确，则困惑度为1。数学上通过熵计算。
• 高风险环境：例如欧盟提议的人工智能（AI）法案中确定的“高风险AI系统”和“不可接受风险AI系统”。
• 关键决策：例如美国提议的算法问责法案中定义的决策。
• 人权：包括世界人权宣言中定义的权利。
• 个人数据和个人信息：个人数据和信息在多个数据保护法规中定义，例如欧盟通用数据保护条例中的“个人数据”；南非共和国个人信息保护法中的“个人信息”；中华人民共和国个人信息保护法。
• 欺骗：故意误导个人相信虚假内容，例如在社交媒体上创建伪装成真人的僵尸机器人或聊天机器人，或在未让消费者知晓文本是机器生成的情况下生成文本文档。

更多信息

• 数据集创建：详细介绍数据集创建过程中设计选择的博客文章：https://bigscience.huggingface.co/blog/building-a-tb-scale-multilingual-dataset-for-language-modeling
• 技术规格：
  • 总结架构、大小、形状和预训练时长选择的博客文章：https://bigscience.huggingface.co/blog/what-language-model-to-train-if-you-have-two-million-gpu-hours
  • 架构/优化器的更多详细信息：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml
  • 硬件/工程方面的博客文章：https://bigscience.huggingface.co/blog/which-hardware-to-train-a-176b-parameters-model
  • 训练使用的分布式设置详情：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml
  • 训练期间更新的Tensorboard：https://huggingface.co/bigscience/tr11-176B-ml-logs/tensorboard#scalars&tagFilter=loss
  • 训练方法和负面结果的见解：https://github.com/bigscience-workshop/bigscience/blob/master/train/lessons-learned.md
  • 工程准备过程中克服障碍的详情（不稳定性、训练吞吐量优化等众多技术技巧和问题）：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml

📄 许可证

本模型使用RAIL许可证v1.0，详情请见链接。