# 効率的な計算

ファルコン-H1はTIIが開発した効率的なハイブリッドアーキテクチャの言語モデルで、TransformersとMambaアーキテクチャの利点を組み合わせ、英語と多言語タスクをサポートします。

玲瓏線形プレビュー版はInclusionAIによってオープンソースで公開されたハイブリッド線形スパース大規模言語モデルで、総パラメータ数は17.1B、活性化パラメータ数は3.0Bです。このモデルはハイブリッド線形アテンションメカニズムに基づいて長文推論を実現し、推論プロセスにおいてほぼ線形の計算複雑性とほぼ一定の空間複雑性を持ちます。

KananaはKakaoが開発したバイリンガル(韓国語/英語)言語モデルシリーズで、韓国語タスクで優れた性能を発揮し、英語タスクでも競争力があり、同規模のモデルと比較して計算コストを大幅に削減しています。

KananaはKakaoが開発したバイリンガル大規模言語モデルシリーズで、韓国語タスクで優れた性能を発揮し、英語タスクでも競争力を維持しています。2.1bバージョンはこのシリーズの軽量ベースモデルです。

KananaはKakaoが開発したバイリンガル(韓国語/英語)言語モデルシリーズで、この2.1Bパラメータ版は韓国語性能で同規模モデルを上回りつつ、効率的な計算コストを維持しています。

LLaMA-2-7Bを基にした活性化スパース化大規模言語モデル、ProSparseメソッドにより高スパース率(89.32%)を実現しつつ元の性能を維持

MoLMは混合エキスパート(MoE)アーキテクチャに基づく言語モデルシリーズで、700M-4Bバージョンは総パラメータ数40億、計算コストは7億パラメータの密モデル相当