# 小規模事前学習

Llamaアーキテクチャに基づく5億パラメータのテキスト生成モデルで、ストーリー作成のために特別に設計されています。

SigLIPアーキテクチャに基づく軽量な視覚言語モデルで、より大きなSigLIP-400mモデルから蒸留技術を用いて知識を抽出し、ゼロショット画像分類タスクに適しています。

これはMeta社のLlama-3.2-1Bモデルをベースにした軽量版で、アムハラ語に特化して事前学習されており、4億のパラメータと1024トークンのコンテキスト長を持ちます。

ViTアーキテクチャに基づく小型CLIPモデルで、ゼロショット画像分類タスクに適しており、LAION-400Mデータセットでトレーニングされています。

31.3GBのベトナム語データで事前学習された1.3BパラメータのGPT-NeoXモデル

TwiBERTはガーナおよび西アフリカ地域で広く使用されているトゥイ語専用に設計された事前学習言語モデルです

1Mから1Bトークン規模のデータセットで事前学習されたRoBERTaバリアントで、BASEとMED-SMALLの2つの仕様があり、リソースが限られた場面での自然言語処理タスクに適しています

1Mトークンの小規模データで事前学習されたRoBERTaモデルで、MED-SMALLアーキテクチャを採用し、テキスト理解タスクに適しています。

RoFormerは回転位置エンコーディング(Rotary Position Embedding)を強化した中国語Transformerモデルで、テキスト補完タスクに適しています。

これはキニャルワンダ語のデータセットに基づき、マスク言語モデリング（MLM）の目標で事前学習されたRoBERTaモデルで、大文字小文字の区別のないトークンを使用して事前学習されています。

これはインドネシア語ウィキペディアデータで事前学習されたGPT2-smallモデルで、インドネシア語テキスト生成タスクに特化しています。

異なる規模のデータセット(1M-1Bトークン)で事前学習されたRoBERTaシリーズモデルで、BASEとMED-SMALLの2種類の仕様を含む

IT5は、イタリア語に対して大規模なシーケンス-to-シーケンスTransformerモデルの事前学習を行った最初のモデルファミリーで、元のT5モデルの方法に従っています。

10億トークンスケールで事前学習されたRoBERTaベースモデル、検証パープレキシティは3.93、英語テキスト処理タスクに適しています。