Pythia 1b

🚀 Pythia-1B

Pythia Scaling Suite是一组为便于可解释性研究而开发的模型集合，包含不同规模的模型，可用于大语言模型的研究。

🚀 快速开始

Pythia模型可以通过以下代码加载和使用，这里以pythia-70m-deduped的第三个检查点为例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版/分支step143000与每个模型main分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参阅GitHub上的文档。

✨ 主要特性

• 促进研究：Pythia模型套件旨在促进大语言模型的科学研究，特别是可解释性研究。
• 模型多样：包含两组共16个模型，规模从70M到12B不等，且每个规模都有在Pile数据集和全局去重后的Pile数据集上训练的两个模型。
• 检查点丰富：每个模型提供154个中间检查点，托管在Hugging Face上作为分支。
• 性能出色：尽管设计目标并非以提升下游性能为中心，但这些模型的性能与类似规模的模型（如OPT和GPT - Neo套件中的模型）相当或更优。

📦 安装指南

文档未提及具体安装步骤，可参考GitHub获取更多信息。

💻 使用示例

基础用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

📚 详细文档

模型详情

使用与限制

预期用途

Pythia的主要预期用途是研究大语言模型的行为、功能和局限性。该套件旨在为进行科学实验提供一个可控的环境。每个模型还提供154个检查点：初始 step0、10个对数间隔的检查点 step{1,2,4...512} 以及143个从 step1000 到 step143000 的均匀间隔检查点。这些检查点托管在Hugging Face上作为分支。注意，分支 143000 与每个模型 main 分支上的模型检查点完全对应。

你也可以进一步微调并适配Pythia - 1B以进行部署，只要你的使用符合Apache 2.0许可证。Pythia模型可与Hugging Face的 Transformers库 配合使用。如果你决定使用预训练的Pythia - 1B作为微调模型的基础，请自行进行风险和偏差评估。

非预期用途

Pythia套件 不 用于部署。它本身不是一个产品，不能用于面向人类的交互。例如，该模型可能会生成有害或冒犯性的文本。请评估与你特定用例相关的风险。

Pythia模型仅支持英语，不适合用于翻译或生成其他语言的文本。

Pythia - 1B未针对语言模型常见部署的下游场景进行微调，如撰写特定类型的散文或商业聊天机器人。这意味着Pythia - 1B不会像ChatGPT这样的产品那样对给定提示做出响应。这是因为与该模型不同，ChatGPT使用了诸如基于人类反馈的强化学习（RLHF）等方法进行微调，以更好地“遵循”人类指令。

局限性和偏差

大语言模型的核心功能是接收一段文本并预测下一个标记。模型使用的标记不一定会产生最“准确”的文本。切勿依赖Pythia - 1B生成事实准确的输出。

该模型在 the Pile 数据集上进行训练，该数据集已知包含亵渎性和低俗或其他冒犯性的文本。有关性别、宗教和种族方面的记录偏差的讨论，请参阅 Pile论文的第6节。即使提示本身不包含任何明确的冒犯性内容，Pythia - 1B也可能会生成社会不可接受或不受欢迎的文本。

如果你打算使用通过例如托管推理API生成的文本，建议在向他人展示之前由人工对该语言模型的输出进行审核。请告知你的受众该文本是由Pythia - 1B生成的。

训练

训练数据

The Pile 是一个825GiB的通用英语数据集，由EleutherAI专门为训练大语言模型而创建。它包含来自22个不同来源的文本，大致分为五类：学术写作（如arXiv）、互联网（如CommonCrawl）、散文（如Project Gutenberg）、对话（如YouTube字幕）和其他（如GitHub、Enron Emails）。有关所有数据源的细分、方法和伦理影响的讨论，请参阅 Pile论文。有关Pile及其组成数据集的更详细文档，请参考 数据说明书。The Pile可以从 官方网站 或 [社区镜像](https://the - eye.eu/public/AI/pile/) 下载。

在训练Pythia - 1B之前，The Pile 未 进行去重处理。

训练过程

所有模型都在完全相同的数据上以完全相同的顺序进行训练。每个模型在训练期间处理了299,892,736,000个标记，并且每个模型每2,097,152,000个标记保存143个检查点，从 step1000 到 step143000（与 main 相同）均匀分布在整个训练过程中。此外，我们还提供频繁的早期检查点：step0 和 step{1,2,4...512}。

对于未去重的模型，这相当于在The Pile上训练不到1个周期；对于去重后的The Pile，大约训练1.5个周期。

所有 Pythia 模型以2M（2,097,152个标记）的批量大小训练了143000步。有关训练过程的更多详细信息，包括 [如何复现](https://github.com/EleutherAI/pythia/blob/main/README.md#reproducing - training)，请参阅 GitHub。Pythia使用与 [GPT - NeoX - 20B](https://huggingface.co/EleutherAI/gpt - neox - 20b) 相同的分词器。

评估

所有16个 Pythia 模型都使用 [LM Evaluation Harness](https://github.com/EleutherAI/lm - evaluation - harness) 进行了评估。你可以在 GitHub仓库 的 results/json/* 中按模型和步骤访问评估结果。

展开以下部分，查看所有Pythia和Pythia - deduped模型与OPT和BLOOM相比的评估结果图。

LAMBADA – OpenAI

Physical Interaction: Question Answering (PIQA)

WinoGrande

AI2 Reasoning Challenge—Easy Set

SciQ

变更日志

本节比较了之前发布的 Pythia v0 与当前模型之间的差异。有关这些更改及其背后的动机的进一步讨论，请参阅Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 所有模型现在都以2M标记的统一批量大小进行训练。之前，参数规模为160M、410M和1.4B的模型以4M标记的批量大小进行训练。
• 除了每1000个训练步骤保存检查点外，还在初始化（步骤0）和步骤 {1,2,4,8,16,32,64,128,256,512} 处添加了检查点。
• 新的重新训练套件中使用了Flash Attention。
• 我们纠正了原始套件中存在的一个小不一致问题：所有参数规模为2.8B或更小的模型的学习率（LR）调度会衰减到起始LR率的10%的最小LR，但6.9B和12B模型的LR调度会衰减到最小LR为0。在重新训练的运行中，我们纠正了这个不一致问题：所有模型现在都以LR衰减到其最大LR的0.1倍的方式进行训练。

命名约定和参数数量

Pythia 模型在2023年1月进行了重命名。旧的命名约定可能仍会意外地出现在某些文档中。当前的命名约定（70M、160M等）基于总参数数量。

🔧 技术细节

Pythia模型套件的设计旨在促进大语言模型的科学研究，特别是可解释性研究。所有模型在相同的数据上以相同的顺序进行训练，确保了实验的可控性和可重复性。每个模型提供多个中间检查点，有助于研究人员观察模型在训练过程中的变化。

在训练过程中，使用了特定的批量大小和学习率调度，并且纠正了原始套件中的一些超参数差异。新的重新训练套件还使用了Flash Attention技术，提高了训练效率。

评估方面，使用了 [LM Evaluation Harness](https://github.com/EleutherAI/lm - evaluation - harness) 对所有模型进行评估，结果可在GitHub仓库中查看。

📄 许可证

本项目采用Apache 2.0许可证。