# 軽量Transformer

SAUTEは、多話者対話を効果的にモデリングするために設計された、軽量で話者感知能力を備えたTransformerアーキテクチャです。

Terjman-Nano-v2.0はTransformerアーキテクチャに基づく英語-モロッコ方言翻訳モデルで、77Mのパラメータ規模を持ち、高品質で正確な翻訳のために最適化されています。

Spec-Vision-V1は、軽量で最先端のオープンソースマルチモーダルモデルで、視覚とテキストデータの深い統合のために構築され、128Kの文脈長をサポートします。

microsoft/Multilingual-MiniLM-L12-H384をファインチューニングしたテキスト分類モデルで、メール件名をスパムメール(SPAM)または非スパムメール(NOSPAM)に分類します。

Segformerアーキテクチャに基づく軽量セマンティックセグメンテーションモデル、Cityscapesデータセットで事前学習済み

Sapiensは3億枚の1024x1024解像度の人間画像で事前学習された視覚変換器ファミリーで、深度推定タスクに使用されます。

3層Transformerアーキテクチャを採用した最先端の文分割技術で、多言語テキスト分割をサポートします。

sat-3lはwtpsplitに適したモデルで、3層のTransformerアーキテクチャを採用し、最先端の文分割機能を実現しています。

MeshGPTはオートエンコーダーとTransformerを基にしたテキストから3Dモデルを生成するモデルで、世界初の公開3Dモデルトークナイザーです。

Octo小型版はロボット制御のための拡散戦略モデルで、Transformerアーキテクチャを採用し、視覚入力と言語命令に基づいてロボットの動作を予測できます。

sentence-transformersに基づく文の埋め込みモデルで、テキストを384次元のベクトル空間にマッピングでき、意味的検索とテキストの類似度計算に適しています。

これはDistilCamemBERTをベースにしたフランス語の文埋め込みモデルで、文や段落を768次元ベクトルにエンコードし、文の類似度計算などのタスクに使用できます。

Simple StoriesはTinyStoriesデータセットでトレーニングされた小型テキスト生成モデルシリーズで、児童向けストーリー生成に特化しています。

Octo小型版は拡散戦略で訓練されたロボット制御モデルで、将来4ステップの7次元動作を予測可能。多様なロボットデータセットに適用可能。

CEDはViT-Transformerベースの簡易オーディオタグ付けモデルで、Audiosetにおいて最先端の性能を実現しています。

Transformerアーキテクチャに基づく軽量事前学習モデルで、ベトナムチュノムとラテン文字の双方向翻訳専用に設計

MobileViTv2アーキテクチャに基づくセマンティックセグメンテーションモデルで、PASCAL VOCデータセットで事前学習済み、512x512解像度の画像処理に対応

SegFormerはTransformerベースの効率的な意味分割モデルで、b0バージョンはその軽量実装です。

このモデルはwav2vec2-base-ft-keyword-spottingをsuperbデータセットでファインチューニングしたバージョンで、オーディオ分類タスク用に量子化と構造化プルーニング最適化が施されています。

視覚Transformer（ViT）ベースの画像特徴モデルで、自己教師ありDINO手法でトレーニングされ、画像分類や特徴抽出タスクに適しています。

Transformerベースの軽量事前学習エンコーダ-デコーダモデルで、ベトナム語ニュース要約用に設計

Transformerエンコーダ-デコーダアーキテクチャに基づくベトナム語最先端軽量事前学習モデル、テキスト要約タスクに特化。

NAT-Miniは近傍注意メカニズムに基づく軽量視覚Transformerモデルで、ImageNet画像分類タスク向けに設計されています

T5-smallはエンコーダー-デコーダーアーキテクチャに基づく事前学習モデルで、統一されたテキストからテキスト形式で複数のタスクを処理し、多言語処理をサポートします。

LeViT-128SはImageNet-1kデータセットで事前学習された視覚Transformerモデルで、畳み込みネットワークの利点を組み合わせてより高速な推論を実現しています。

LeViT-384はImageNet-1kデータセットで事前学習された視覚Transformerモデルで、畳み込みネットワークの利点を組み合わせてより高速な推論を実現しています。

同型射影蒸留による意味検索の文表現モデルの圧縮、わずか2300万パラメータ、モデルサイズ87MB

これはdistilbert-base-multilingual-casedの簡略版で、英語とウルドゥー語に特化しており、元のモデルの表現能力を保持しています。

XtremeDistilTransformersは、知識蒸留を行った軽量Transformerモデルで、タスク非依存性を持ち、様々な自然言語処理タスクに適用できます。

MiniLMは小型で効率的な事前学習言語モデルで、深層自己注意蒸留技術によりTransformerモデルを圧縮し、多言語理解と生成タスクをサポートします。

DeiTはより効率的にトレーニング可能なVision Transformerモデルで、ImageNet-1kデータセットで224x224解像度で事前学習とファインチューニングが行われ、画像分類タスクに適しています。

XtremeDistilTransformersは蒸留されたタスク非依存型Transformerモデルで、タスク転移学習技術を用いて訓練された小型汎用モデルであり、様々なタスクと言語に適用可能です。

google/fnet-baseをベースに、GLUE COLAデータセットで微調整したテキスト分類モデル。FNetとBERTアーキテクチャの性能比較に使用されます。

これはsentence-transformersに基づく文章埋め込みモデルで、文章を768次元のベクトル空間にマッピングでき、意味的類似度計算やテキストクラスタリングなどのタスクに適しています。

XtremeDistilTransformersは蒸留されたタスク非依存のTransformerモデルで、タスク転移学習により小型汎用モデルを実現し、あらゆるタスクと言語に適用可能です。

DeiTは効率的に訓練された視覚Transformerモデルで、ImageNet-1kデータセットで事前学習と微調整が行われ、画像分類タスクに適しています。

MiniLMは、深層自己注意蒸留技術によって圧縮された小型で効率的な事前訓練言語モデルで、言語理解と生成タスクに適しています。

これはdistilbert-base-multilingual-casedの軽量化バージョンで、英語、スペイン語、イタリア語の処理をサポートし、元のモデルの精度を維持しています。

これは多言語文埋め込みモデルで、テキストを384次元ベクトル空間にマッピングでき、意味的検索やクラスタリングタスクに適しています。

これはALBERT-smallアーキテクチャに基づく文変換モデルで、文や段落を768次元のベクトル空間にマッピングでき、文類似度計算や意味検索などのタスクに適しています。