# 低コスト事前学習

MicroLlamaは個人開発者keeeeenwが500ドルの予算内で事前学習した3億パラメータのLlamaモデルで、英語テキスト生成タスクに特化しています。

LLaMA-2ベースの中英バイリンガルオープンソース大規模言語モデルで、約85億トークンの継続的な事前学習を経ており、4096トークンのコンテキストウィンドウをサポートします。