Cerebras GPT 111M

🚀 Cerebras-GPT 111M

Cerebras-GPT 111M 是基于 Transformer 架构的语言模型，旨在助力大语言模型的研究，可作为自然语言处理、应用、伦理和对齐研究的基础模型。

🚀 快速开始

本模型可使用 AutoModelForCausalLM 功能轻松加载：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("cerebras/Cerebras-GPT-111M")
model = AutoModelForCausalLM.from_pretrained("cerebras/Cerebras-GPT-111M")

text = "Generative AI is "

可与 Hugging Face Pipelines 一起使用：

from transformers import pipeline

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
print(generated_text['generated_text'])

或者使用 model.generate()：

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, num_beams=5, 
                        max_new_tokens=50, early_stopping=True,
                        no_repeat_ngram_size=2)
text_output = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(text_output[0])

✨ 主要特性

• 模型家族丰富：Cerebras-GPT 家族包含 111M、256M、590M、1.3B、2.7B、6.7B 和 13B 等多种规模的模型。
• 遵循最优定律：所有模型均按照 Chinchilla 缩放定律（每个模型参数对应 20 个令牌）进行训练，实现计算最优。
• 高效训练架构：采用 Cerebras 的权重流式传输技术，通过将计算与模型存储分离，简化大语言模型的训练，实现跨节点的高效扩展。

📚 详细文档

模型描述

Cerebras-GPT 家族的发布是为了推动使用开放架构和数据集对大语言模型缩放定律的研究，并展示在 Cerebras 软件和硬件堆栈上训练大语言模型的简单性和可扩展性。所有 Cerebras-GPT 模型均可在 Hugging Face 上获取。

该家族包括 111M、256M、590M、1.3B、2.7B、6.7B 和 13B 等模型。

Cerebras-GPT 家族的所有模型均按照 Chinchilla 缩放定律（每个模型参数对应 20 个令牌）进行训练，这是计算最优的方式。

这些模型在由 16 个 CS - 2 晶圆级系统组成的 Andromeda AI 超级计算机上进行训练。Cerebras 的 权重流式传输技术 通过将计算与模型存储分离，简化了大语言模型的训练。这使得使用简单的数据并行性在节点间实现高效的训练扩展成为可能。

用于预训练和微调的 Cerebras 系统可通过 Cerebras Model Studio 在云端获取。与 Cerebras CS - 2 兼容的检查点可在 Cerebras Model Zoo 中找到。

模型详情

联系信息：若要询问有关 Cerebras - GPT 模型的问题，请加入 Cerebras Discord。

这是 Cerebras - GPT 的标准参数化版本，具有 111M 个参数。

相关模型：[Cerebras - GPT 模型](https://huggingface.co/models?sort=downloads&search=cerebras - gpt)

不同规模 Cerebras - GPT 模型的参数详情如下：

训练数据

Cerebras - GPT 使用来自 EleutherAI 的 the Pile 数据集进行训练。有关数据源和方法的更详细分解，请参阅 Pile 论文。Pile 数据集使用 ftfy 库进行清理以规范文本，然后使用 Eleuther 提供的脚本进行过滤。

我们使用 GPT - 2 词汇表通过字节对编码对数据进行分词。我们的 Pile 分词版本有 371B 个令牌。我们在论文的附录 A.1 中包含了有关训练数据集预处理的更多详细信息。

近期研究发现 Pile 数据集中存在大量重复数据。Eleuther 的 Pythia 应用了去重过程以减少重复数据，从而减小了 Pile 数据集的大小。Pythia 在标准数据集和去重数据集上都进行了训练，以评估其影响。我们的模型在未去重的标准 Pile 数据集上进行训练，使用去重数据集可能会带来进一步改进的机会。

训练过程

我们使用 GPT - 3 风格的模型架构。与 GPT - 3 风格的稀疏带状注意力不同，我们的所有层都使用全注意力。模型形状的选择要么遵循宽高比 80，要么与 GPT - 3 模型形状相同。学习率在 3.75 亿个令牌（对于 111M 和 256M 模型为 1500 步）内进行预热，然后以 10 倍的余弦衰减。未使用丢弃法，权重衰减设置为 0.1。所有模型的最大序列长度（MSL）均为 2048。

所有模型均训练到 Chinchilla 点：每个模型参数对应 20 个令牌。步骤数根据最佳批次大小（因模型而异）和固定序列长度（2048）选择。具体细节如下表所示：

评估

我们从小到大训练模型，并在训练过程中拟合幂律。幂律有助于推断我们训练的下一个更大模型的验证损失，并为训练过程是否顺利提供信心。

我们使用 Pile 验证集和测试集对文本预测交叉熵进行了上游（预训练）评估。我们使用 [Eleuther lm - evaluation - harness](https://github.com/EleutherAI/lm - evaluation - harness) 对标准化任务上的文本生成准确性进行了下游评估。论文第 3 节将结果与许多公开可用的大语言模型进行了比较。

零样本评估

五样本评估

使用场景和局限性

预期用途

主要预期用途是进一步开展大语言模型的研究。这些模型可作为自然语言处理、应用、伦理和对齐研究的基础模型。我们的主要目标用户是致力于改进大语言模型的研究人员，以及寻求参考实现、训练设置、超参数或预训练模型的从业者。我们以完全宽松的 Apache 许可证发布这些模型，供社区自由使用。

您可以通过 Cerebras [Model Studio](https://www.cerebras.net/product - cloud/) 或第三方库对 Cerebras - GPT 模型进行微调并部署。在将 Cerebras - GPT 模型家族用于生产下游应用之前，应进行进一步的安全相关测试和缓解措施。

由于资金和计算预算的限制，Cerebras - GPT 模型仅按照论文中描述的方法进行训练和评估。

非预期用途

Cerebras - GPT 模型在 Pile 数据集上进行训练，仅支持英语，不适合机器翻译任务。

Cerebras - GPT 模型未针对面向人类的对话应用（如聊天机器人）进行调优，其对提示的响应方式与经过指令调优或从人类反馈中进行强化学习（RLHF）的模型（如 Flan - T5 或 ChatGPT）不同。Cerebras - GPT 模型可以使用这些方法进行调优。

风险、偏差和伦理考虑

• 数据：Pile 数据集已从各种伦理角度（如毒性分析、性别偏差、贬义词内容、种族敏感内容等）进行了全面分析。请参考 Pile 数据集的相关参考文献。
• 人类生活：该模型的输出可能与人类价值观一致，也可能不一致。在将此模型部署到可能直接影响人类生活的生产环境之前，需要彻底调查风险。
• 风险和危害：Pile 数据集中可能存在分布偏差，这可能在下游模型部署中以各种形式表现出来。大语言模型还存在其他风险，如放大刻板印象、记忆训练数据或泄露私人或安全信息。
• 缓解措施：在预训练 Cerebras - GPT 时，仅采用了标准 Pile 数据集预处理中的缓解措施。

📄 许可证

本项目采用 Apache 2.0 许可证。

致谢

我们感谢所有现在和过去的 Cerebras 工程师，是他们使这项工作成为可能。