P

Pythia 1b Deduped

由EleutherAI開發
Pythia-10億去重版是EleutherAI開發的可解釋性研究專用語言模型,基於去重Pile數據集訓練,採用Transformer架構,參數規模10億
下載量 19.89k
發布時間 : 2/14/2023

模型概述

該模型是Pythia可擴展套件的一部分,專為大型語言模型行為研究設計,提供154個訓練檢查點以支持科學分析

模型特點

完整訓練軌跡
提供154個檢查點(包括初始step0和密集日誌間隔檢查點),支持訓練動態研究
數據去重處理
使用全局去重後的Pile數據集訓練,減少數據重複對模型的影響
科學實驗設計
嚴格控制的訓練流程和超參數,便於與套件內其他規模模型對比研究

模型能力

英語文本生成
語言模型行為分析
可解釋性研究

使用案例

學術研究
模型行為分析
研究語言模型在不同訓練階段的性能變化
提供量化評估指標(如LAMBADA準確率)
偏見研究
分析模型生成文本中的社會偏見
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase