# RedPajamaトレーニング

これはTinyllamaコードフレームワークをベースに、RedPajama V2ドイツ語コーパスを使用してゼロからトレーニングされたドイツ語Tinyllama 1B言語モデルです。

MobileLLaMA-1.4B-BaseのGGUF量子化フォーマット版、ローカルデプロイと推論に適しています

MobileLLaMA-1.4B-Baseは14億パラメータのTransformerモデルで、RedPajama v1データセットに基づいてトレーニングされ、すぐに使用できるデプロイメント向けに設計されています。

このシリーズのリポジトリではMeta AIのLLaMAとLLaMA 2大規模言語モデルを再現していますが、モデル規模は大幅に縮小されており、llama1_s実験版は18億パラメータ、llama2_xs実験版はわずか4.6億パラメータです。