# ハイブリッドアーキテクチャ

ファルコン-H1はTIIが開発したTransformers+Mambaハイブリッドアーキテクチャの因果デコーダ専用言語モデルで、英語と多言語タスクをサポートします。

ファルコン-H1はTIIが開発した効率的なハイブリッドアーキテクチャの言語モデルで、TransformersとMambaアーキテクチャの利点を組み合わせ、英語と多言語タスクをサポートします。

ストライプドハイエナ-Nous-7Bは、マルチヘッドグループクエリアテンションとゲート畳み込みを組み合わせたハイブリッドアーキテクチャに基づくチャットモデルで、長文脈処理をサポートします。

Intelが開発したハイブリッド深度推定モデルで、畳み込みニューラルネットワークとTransformerアーキテクチャの利点を組み合わせている

ハイブリッドビジョントランスフォーマー（ViT）モデルは、畳み込みネットワークとTransformerアーキテクチャを組み合わせたもので、画像分類タスクにおいてImageNetで優れた性能を発揮します。

CvT-21は畳み込みビジョントランスフォーマーアーキテクチャに基づく画像分類モデルで、ImageNet-1kデータセットで384x384解像度で事前学習されています。

CvT-13はImageNet-1kデータセットで事前学習されたビジョントランスフォーマーモデルで、畳み込み操作を導入することで従来のビジョントランスフォーマーの性能を改善しました。