# 低リソース要件

盆栽は5億パラメータの小型三値重み付け言語モデルで、LlamaアーキテクチャとMistralトークナイザーを使用し、トレーニングに使用されたトークン数は50億未満です。

LingLongは軽量級の中国語事前学習言語モデルで、GPT-3アーキテクチャに基づいて構築されており、パラメータ規模は3.17億で、計算リソースが限られている研究者に適しています。

MythoMax L2 13bはQ4_K_M量子化バージョンに基づく大規模言語モデルで、テキスト生成タスクに適しています。

Fietje 2はmicrosoft/phi-2を基にしたオランダ語最適化バージョンで、280億オランダ語トークンで訓練され、オランダ語テキスト生成能力を特別に向上させています

UForm-Genは小型の生成的視覚言語モデルで、主に画像キャプション生成と視覚的質問応答に使用されます。

TinyMistral-248MはMistral 7Bモデルを基に事前学習された小型言語モデルで、パラメータ規模は約2.48億に縮小されており、主に下流タスクのファインチューニングに使用されます。

google/t5-efficient-tinyをファインチューニングしたテキスト要約モデルで、billsumデータセットでトレーニング済み

TinyLlamaは1.1BパラメータのLlamaモデルで、3兆トークンの事前学習を計画しており、最適化により16台のA100-40G GPUで90日以内に学習を完了できます。

TinyStories-1M-ONNXはONNX形式の小型言語モデルで、テキスト生成タスクに適しています。

cointegrated/rubert-tiny2をファインチューニングしたロシア語Q&Aモデル、SQuAD形式の質問応答タスクに適応

このモデルは未知のデータセットでスクラッチから訓練されましたが、具体的な情報や用途はまだ不明です。

distilroberta-baseモデルをファインチューニングしたテキスト処理モデルで、汎用NLPタスクに適しています

DistilBERTに基づく軽量級テキスト感情分類モデルで、emotionデータセットで微調整されました。