Segformer Finetuned Segments Cmp Facade

🚀 画像セグメンテーションモデル

このプロジェクトは、建物の画像セグメンテーションを行うためのもので、Semantic Segmentation技術を用いて画像の各ピクセルを分類します。

🚀 クイックスタート

セマンティックセグメンテーションは、画像内の各ピクセルを対応するカテゴリに分類するタスクです。医療画像、自動運転、ロボット工学などの分野で幅広い用途があります。当プロジェクトでは、建物の正面画像を12の異なるクラスに分類することに興味があります。これらのクラスは、ファサード、モールディング、コーニス、柱、窓、ドア、土台、ブラインド、バルコニー、店舗、装飾、および背景です。

2014年に、Long et al.は畳み込みニューラルネットワークをセマンティックセグメンテーションに使用した基礎的な論文を発表しました。最近のコンピュータビジョンの成功例には、Transformerの使用が含まれており、画像分類タスクでも使用されています（例：ViT）。これに伴い、Transformerはセマンティックセグメンテーションにも使用され、いくつかの広く使用されているデータセットで優れた性能を示しています。ここでは、2021年に導入されたセマンティックセグメンテーションの最先端のモデルアーキテクチャであるSegFormerに注目します。これは、位置符号化に依存しない階層的なTransformerエンコーダと、単純な多層パーセプトロンデコーダを持っています。この場合、SegFormerを使用して建物の街頭画像を分類します。

最近、Yin et al.は、ゼロショット設定で最先端の性能を達成するセマンティックセグメンテーションの新しいアプローチを導入しました。これは、モデルがこれらのデータセットで訓練されていなくても、さまざまなセマンティックセグメンテーションデータセットで教師あり手法と同等の結果を達成できることを意味します。このアプローチでは、クラスラベルをクラスを説明する短文のベクトル値埋め込みで置き換えます。これにより、異なるクラスラベルとセマンティクスを持つ複数のデータセットを統合でき、200万枚以上の画像の統合データセットが得られます。結果として得られるモデルは、7つのベンチマークデータセットで最先端の教師あり手法と同等の性能を達成し、標準的なセマンティックセグメンテーションデータセットで微調整すると手法を上回ります。

詳細なチュートリアルはこちらを参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。