# 軽量言語モデル

Zeta 2は約4.6億パラメータの小型言語モデル(SLM)で、コンシューマー向けPCで慎重に構築され、複数の言語をサポートしています。

MiniLLMはbert4torchフレームワークで開発された軽量中国語言語モデルで、事前学習から命令ファインチューニングまでの全プロセスをカバーし、基本的な対話能力を備えています

SmolLM2-135Mをファインチューニングしたロシア語・英語バイリンガル軽量言語モデルで、ロシア語処理能力は強化されているが明らかな限界がある

Gensyn RL Swarm専用に設計された15億パラメータの命令微調整モデルで、ピアツーピア強化学習によるローカル微調整をサポート

反復的な潜在処理を通じてより深いコンテキスト情報を捕捉する実験的なテキスト生成アーキテクチャ

0x MiniはOzone AIが開発した軽量言語モデルで、Llama-3.1アーキテクチャを最適化し、効率的なテキスト生成能力を提供します

Qwenアーキテクチャに基づく2億パラメータモデル、MiniPLM知識蒸留フレームワークを使用してゼロから事前学習

これはTinyllamaコードフレームワークをベースに、RedPajama V2ドイツ語コーパスを使用してゼロからトレーニングされたドイツ語Tinyllama 1B言語モデルです。

混合量子化技術を採用したテキスト生成モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k量子化を採用しています。標準のq8_0量子化形式よりも体積が小さく、純粋なf16バージョンと同等の性能を維持しています。

これは4ビット量子化された1億3500万パラメータの小型言語モデルで、リソースが限られた環境でのテキスト生成タスクに適しています。

MobiLlama-1B-ChatはMobiLlama-1Bを微調整した命令追従モデルで、リソース制約のあるデバイス向けに設計されており、効率性、低メモリ使用量、高速応答を重視しています。

MobiLlama-05Bは5億パラメータの小型言語モデル（SLM）で、リソース制約デバイスのアプリケーションシナリオに焦点を当て、効率的でメモリ使用量の少ないテキスト生成能力を提供します。

Mambaアーキテクチャに基づく3Bパラメータ規模の言語モデルで、英語テキスト生成タスクをサポートします。

HermesデータセットでファインチューニングされたPhi-1.5モデル、主にテキスト生成タスクに使用

CharLLaMa-35MはLLaMaアーキテクチャを採用した小型言語モデルで、文字単位のトークン化機能を備えており、BPEトークン化がうまく機能しない様々な実験シナリオに適しています。

このシリーズのリポジトリではMeta AIのLLaMAとLLaMA 2大規模言語モデルを再現していますが、モデル規模は大幅に縮小されており、llama1_s実験版は18億パラメータ、llama2_xs実験版はわずか4.6億パラメータです。

KoRWKV-1.5BをKoAlpacaデータセットv1.0で微調整した韓国語言語モデル

GPT-NeoXアーキテクチャに基づく小型日本語言語モデルで、テキスト生成タスクをサポート

これは日本語で事前学習されたALBERTモデルで、BertJapaneseTokenizerをトークナイザーとして使用しており、日本語テキストの処理がより簡単です。

これはXLM-RoBERTaモデルの縮小版で、ウクライナ語と一部の英語に特化して最適化されており、パラメータ数は4.7億から1.34億に削減されました。

RoFormerは回転位置エンコーディング(Rotary Position Embedding)を強化した中国語Transformerモデルで、テキスト補完タスクに適しています。

MiniLMv2はマイクロソフトが開発した軽量言語表現モデルで、知識蒸留技術により効率的な推論を実現し、様々な自然言語処理タスクに適しています。

MiniLMv2はマイクロソフトが開発した軽量言語表現モデルで、知識蒸留技術により効率的な性能を実現しています。

これは疎事前学習モデルで、一度の剪定方法により90％の重みを疎化し、複数の言語タスクに対して微調整できます。