Segformer Finetuned Segments Cmp Facade

🚀 語義分割項目

語義分割是將圖像中的每個像素分類到相應類別的任務。它在醫學成像、自動駕駛、機器人技術等領域有著廣泛的應用。對於建築外立面數據集，我們旨在基於12個不同的類別對建築物的正視圖進行分類。這些類別包括：外立面、裝飾線、簷口、柱子、窗戶、門、窗臺、百葉窗、陽臺、商店、裝飾和背景。

🚀 快速開始

本項目主要聚焦於建築外立面圖像的語義分割，利用先進的模型對圖像進行像素級別的分類。你可以參考完整教程 點擊這裡 進行深入學習。

✨ 主要特性

• 廣泛的應用場景：語義分割技術在醫學成像、自動駕駛、機器人技術等多個領域都有重要應用。
• 前沿的模型架構：使用了SegFormer這一2021年推出的用於語義分割的先進模型架構，其具有無需位置編碼的分層Transformer編碼器和簡單的多層感知器解碼器。
• 零樣本學習能力：Yin等人提出的新穎方法能在零樣本設置下達到最先進的性能，可將不同類別標籤和語義的多個數據集合並。

📚 詳細文檔

語義分割概述

語義分割旨在將圖像中的每個像素分類到相應的類別。在建築外立面數據集上，我們關注12個特定類別，為建築正視圖的分類提供了細緻的劃分。

模型發展歷程

• 2014年，Long等人 發表了一篇使用卷積神經網絡進行語義分割的基礎論文。
• 近年來，Transformer在計算機視覺領域取得了成功，也被應用於圖像分類任務（如 ViT），並在語義分割中展現出優異性能。

SegFormer模型

SegFormer是2021年引入的用於語義分割的先進模型架構。它採用分層Transformer編碼器，無需位置編碼，搭配簡單的多層感知器解碼器，在多個常用數據集上表現出色。本項目使用SegFormer對建築街景圖像進行分類。

零樣本學習方法

Yin等人提出的方法在零樣本設置下實現了最先進的性能。該方法通過用描述類別的短段落的向量值嵌入替換類別標籤，實現了不同數據集的合併。合併後的數據集包含超過200萬張圖像，模型在7個基準數據集上達到了與最先進的監督方法相當的性能，在標準語義分割數據集上微調時甚至表現更優。

📄 許可證

本項目採用MIT許可證。

信息表格