# 輕量級Transformer

SAUTE是一種輕量級、具備說話者感知能力的Transformer架構，專為有效建模多說話者對話而設計。

Terjman-Nano-v2.0是基於Transformer架構的英語-摩洛哥方言翻譯模型，參數規模77M，專為高質量精準翻譯而優化。

Spec-Vision-V1是一款輕量級、最先進的開源多模態模型，專為深度整合視覺與文本數據而構建，支持128K的上下文長度。

基於microsoft/Multilingual-MiniLM-L12-H384微調的文本分類模型，用於將郵件主題分類為垃圾郵件(SPAM)或非垃圾郵件(NOSPAM)。

基於Segformer架構的輕量級語義分割模型，預訓練於Cityscapes數據集

Sapiens 是一個基於 3 億張 1024 x 1024 分辨率人類圖像預訓練的視覺變換器家族，用於深度估計任務。

採用3層Transformer架構的頂尖句子分割技術，支持多語言文本分割。

sat-3l 是適用於 wtpsplit 的模型，採用 3 層 Transformer 架構，實現了最先進的句子分割功能。

MeshGPT是基於自編碼器和Transformer的文本生成3D模型，全球首個公開的3D模型分詞器。

Octo小型版是一個用於機器人控制的擴散策略模型，採用Transformer架構，能夠根據視覺輸入和語言指令預測機器人動作。

基於sentence-transformers的句子嵌入模型，可將文本映射到384維向量空間，適用於語義搜索和文本相似度計算

這是一個基於DistilCamemBERT的法語句子嵌入模型，能夠將句子或段落編碼為768維向量，用於句子相似度計算等任務。

Simple Stories是一個基於TinyStories數據集訓練的小型文本生成模型系列，專注於生成兒童故事。

Octo小型版是一個基於擴散策略訓練的機器人控制模型，能夠預測未來4步的7維動作，適用於多源機器人數據集。

CED是基於ViT-Transformer的簡易音頻標記模型，在Audioset上實現了最先進的性能表現。

基於Transformer架構的輕量級預訓練模型，專為越南喃字與拉丁文字雙向翻譯設計

基於MobileViTv2架構的語義分割模型，在PASCAL VOC數據集上預訓練，支持512x512分辨率圖像處理

SegFormer是一種基於Transformer的高效語義分割模型，b0版本是其輕量級實現。

該模型是基於wav2vec2-base-ft-keyword-spotting在superb數據集上微調的版本，用於音頻分類任務，經過量化和結構化剪枝優化。

基於視覺Transformer（ViT）的圖像特徵模型，採用自監督DINO方法訓練，適用於圖像分類和特徵提取任務。

基於Transformer的輕量級預訓練編碼器-解碼器模型，專為越南語新聞摘要設計

基於Transformer編碼器-解碼器架構的越南語最先進輕量級預訓練模型，專注於文本摘要任務。

NAT-Mini 是基於鄰域注意力機制的輕量級視覺Transformer模型，專為ImageNet圖像分類任務設計

T5-small是基於編碼器-解碼器架構的預訓練模型，通過統一文本到文本格式處理多種任務，支持多語言處理。

LeViT-128S是基於ImageNet-1k數據集預訓練的視覺Transformer模型，結合了卷積網絡的優勢以實現更快推理。

LeViT-384是基於ImageNet-1k數據集預訓練的視覺Transformer模型，結合了卷積網絡的優勢以實現更快的推理速度。

通過同態投影蒸餾壓縮語義檢索的句子表示模型，僅含2300萬參數，模型大小87MB

這是一個基於sentence-transformers的句子嵌入模型，能夠將句子映射到768維向量空間，適用於語義相似度計算和文本聚類等任務。

DeiT是一種高效訓練的視覺Transformer模型，在ImageNet-1k數據集上預訓練和微調，適用於圖像分類任務。

MiniLM是一種小型高效的預訓練語言模型，通過深度自注意力蒸餾技術壓縮Transformer模型，支持多語言理解與生成任務。

基於google/fnet-base在GLUE COLA數據集上微調的文本分類模型，用於評估FNet與BERT架構的性能對比

XtremeDistilTransformers是一個經過蒸餾的任務無關型Transformer模型，利用任務遷移學習技術訓練小型通用模型，適用於多種任務和語言。

MiniLM是一種小型高效的預訓練語言模型，通過深度自注意力蒸餾技術壓縮而成，適用於語言理解與生成任務。

DeiT是一種更高效訓練的Vision Transformer模型，在ImageNet-1k數據集上以224x224分辨率預訓練和微調，適用於圖像分類任務。

XtremeDistilTransformers是一種經過蒸餾的任務無關Transformer模型，通過任務遷移學習小型通用模型，可應用於任意任務和語言。

XtremeDistilTransformers是一種經過知識蒸餾的輕量級Transformer模型，具有任務無關性，可應用於多種自然語言處理任務。

這是一個多語言句子嵌入模型，可將文本映射至384維向量空間，適用於語義搜索和聚類任務。

DistilRoBERTa是RoBERTa-base模型的蒸餾版本，參數更少但速度更快，適用於英語文本處理任務。

這是一個基於ALBERT-small架構的句子轉換器模型，能夠將句子和段落映射到768維的向量空間，適用於句子相似度計算和語義搜索等任務。

這是distilbert-base-multilingual-cased的精簡版本，支持英語、西班牙語和意大利語處理，保持原始模型的準確度。