# 多分野事前学習

GECKOは韓国語、英語、コードで訓練された70億パラメータのデコーダ専用Transformerモデルで、Apache 2.0ライセンスでオープンソース公開されています。

Saltlux AI研究所がMeta Llama-3-8Bを基に最適化した韓国語大規模言語モデル。韓国語トークナイザーを拡張し、100GBの精選された韓国語データで事前学習を実施

TinyLlamaは11億パラメータの小型言語モデルで、Llama 2と同じアーキテクチャとトークナイザーを採用しており、リソースが限られたアプリケーションシナリオに適しています。