# 兆規模の事前学習

日時計は一連の生成的時系列基礎モデルであり、確定的予測と確率予測に対してゼロショット推論が可能です。

PLaMo 2 1BはPreferred Elements社が開発した10億パラメータのモデルで、英語と日本語のデータセットで事前学習され、Mambaとスライディングウィンドウアテンション機構を組み合わせたハイブリッドアーキテクチャを採用しています。

OpenELMは、階層的スケーリング戦略を用いてパラメータ割り当てを最適化し、モデル精度を向上させる一連のオープンな効率的言語モデルです。2.7億から30億パラメータの事前学習版と指示チューニング版を提供しています。

CyberAgentLM2は、公開可能な日本語と英語のデータセットに基づき、1.3兆トークンを事前学習したデコーダー専用の言語モデルです。