# Transformer編碼器

採用DINOv2方法訓練的視覺Transformer模型，通過自監督學習提取圖像特徵

基於DINOv2方法訓練的視覺Transformer模型，通過自監督學習提取圖像特徵

基於IIT-CDIP預訓練並在RVL-CDIP上微調的文檔圖像分類模型，採用Transformer架構

基於ImageNet-21k預訓練的視覺Transformer模型，採用超大尺寸架構，適用於圖像分類等視覺任務。

該視覺Transformer（ViT）模型先在ImageNet-21k數據集上預訓練，後在ImageNet數據集上微調，適用於圖像分類任務。

視覺變換器（ViT）是一種基於變換器架構的圖像分類模型，先在ImageNet-21k上預訓練，後在ImageNet上微調。

SegFormer是一個基於Transformer的語義分割模型，其編碼器在Imagenet-1k上進行了微調。

該視覺Transformer（ViT）模型在ImageNet-21k數據集上預訓練，適用於圖像分類任務。

基於ImageNet-21k數據集預訓練的視覺Transformer模型，適用於圖像特徵提取和下游任務微調。

SegFormer是一個基於Transformer的語義分割模型，採用分層編碼器和輕量級MLP解碼頭設計，在ADE20K和Cityscapes等基準測試中表現優異。

由SberDevices團隊預訓練的俄語RoBERTa大模型，參數量3.55億，基於250GB俄語文本訓練

SegFormer是一個基於Transformer架構的語義分割模型，採用分層編碼器和輕量級MLP解碼頭設計。