# 萬億級預訓練

日晷是一系列生成式時間序列基礎模型，能夠對確定性預測和概率預測進行零樣本推理。

PLaMo 2 1B是由Preferred Elements公司開發的10億參數模型，基於英文和日文數據集進行預訓練，採用混合架構結合Mamba和滑動窗口注意力機制。

OpenELM是一組開放的高效語言模型，採用分層縮放策略優化參數分配，提升模型精度。提供2.7億至30億參數的預訓練及指令調優版本。

CyberAgentLM2 是一個僅解碼器的語言模型，基於公開可用的日語和英語數據集，預訓練了1.3萬億個token。