# 小型言語モデル

Dogeモデルは動的マスクアテンションメカニズムを使用してシーケンス変換を行い、多層パーセプトロンまたはクロスドメインエキスパート混合を選択して状態変換を行うことができます。

Llamaアーキテクチャに基づくコンパクトな言語モデルで、英語とポルトガル語をサポート、パラメータ数9600万、4096トークンのコンテキスト長に対応。

Doge 320M 指導版は動的マスクアテンションを基にした軽量言語モデルで、教師ありファインチューニング(SFT)と直接選好最適化(DPO)で訓練され、質問応答や対話タスクに適しています。

盆栽は5億パラメータの小型三値重み付け言語モデルで、LlamaアーキテクチャとMistralトークナイザーを使用し、トレーニングに使用されたトークン数は50億未満です。

Doge 160M は動的マスクアテンションメカニズムを採用した小型言語モデルで、SmallDoge コミュニティによってトレーニングされ、テキスト生成タスクをサポートします。

Doge 20Mは動的マスクアテンション機構に基づく小型言語モデルで、命令追従と質問応答タスクをサポートします。

これはポルトガル語テキストの圧縮と構造化処理に特化した小型言語モデルで、33万件のポルトガル語テキストで訓練されています。

Simple StoriesはTinyStoriesデータセットでトレーニングされた小型テキスト生成モデルシリーズで、児童向けストーリー生成に特化しています。

CharGPT-96M は文字レベル分かち書きを採用した小型言語モデルで、様々な実験シナリオに適しており、特にBPE（サブワード）分かち書きがタスクのパフォーマンス低下を引き起こす場合に有効です。

TinyStories-1Mは、TinyStoriesデータセットを使って訓練された小型言語モデルで、子供向けのシンプルな物語を生成するために特別に設計されています。

このモデルはMicrosoftのMiniLM-L12-H384-uncasedをIMDBデータセットでファインチューニングしたバージョンで、主に感情分析タスクに使用されます。

これはインドネシア語に特化した小型RoBERTaモデルで、インドネシア語テキスト処理タスク向けに最適化されています。