RoadSense高清街道分割オープンソースモデル - 軽量級で無料でデプロイでき、歩道シーンを的確に分割する

ホーム

Roadsense High Definition Street Segmentation

iammartian0によって開発

SegFormerアーキテクチャに基づく軽量画像分割モデルで、歩道シーンに特化してファインチューニングされています

画像セグメンテーション

Transformers

オープンソースライセンス:その他 #歩道分割 #軽量モデル #都市の街並み

ダウンロード数 63

リリース時間 : 7/7/2023

モデル概要

このモデルはMIT-B0アーキテクチャのSegFormerモデルをベースにしており、segments/sidewalk-semanticデータセットでファインチューニングされ、歩道シーンのセマンティックセグメンテーションタスクに使用されます。

モデル特徴

軽量設計

B0レベルのSegFormerアーキテクチャに基づき、リソースが限られた環境での展開に適しています

歩道シーン最適化

歩道関連シーンに特化してファインチューニングされており、関連カテゴリの認識精度が向上しています

多カテゴリ認識

道路、歩道、建物、車両など40以上のカテゴリを認識可能

モデル能力

セマンティックセグメンテーション

シーン理解

道路要素認識

都市景観分析

使用事例

スマートシティ

歩道メンテナンス監視

歩道の損傷や異常領域を自動検出

平坦な歩道の認識精度は96.11%

交通インフラ分析

道路標識、信号機などのインフラを認識

自動運転

道路シーン理解

自動運転システムに環境認識能力を提供

車両認識精度は93.32%

🚀 segformer-b0-finetuned-segments-sidewalk

このモデルは、画像セグメンテーションタスクに特化した、nvidia/mit-b0 をNoneデータセットでファインチューニングしたバージョンです。評価セットでは、以下のような結果を達成しています。

🚀 クイックスタート

このモデルは、画像セグメンテーションに使用されます。以下に評価セットでの結果を示します。

損失: 0.5449
平均IoU: 0.3292
平均精度: 0.3907
全体精度: 0.8555
未ラベル精度: nan
平坦道路精度: 0.8585
歩道精度: 0.9611
横断歩道精度: 0.7673
自転車道精度: 0.8223
駐車場・車道精度: 0.5127
鉄道軌道精度: nan
縁石精度: 0.4937
人物精度: 0.7164
騎手精度: 0.0
車精度: 0.9332
トラック精度: 0.0
バス精度: nan
路面電車・列車精度: nan
オートバイ精度: 0.0
自転車精度: 0.3858
キャラバン精度: 0.0
トレーラー付き車精度: 0.0
建物精度: 0.9040
ドア精度: 0.0
壁精度: 0.5848
柵・ガードレール精度: 0.4417
橋精度: 0.0
トンネル精度: nan
階段精度: 0.0
ポール精度: 0.3156
交通標識精度: 0.0
信号機精度: 0.0
自然・植生精度: 0.9413
地形精度: 0.8456
天空精度: 0.9600
地面精度: 0.0
動的精度: 0.0
静的精度: 0.2780
不明精度: 0.0
未ラベルIoU: nan
平坦道路IoU: 0.7447
歩道IoU: 0.8755
横断歩道IoU: 0.6244
自転車道IoU: 0.7325
駐車場・車道IoU: 0.3997
鉄道軌道IoU: nan
縁石IoU: 0.3974
人物IoU: 0.4985
騎手IoU: 0.0
車IoU: 0.7798
トラックIoU: 0.0
バスIoU: nan
路面電車・列車IoU: nan
オートバイIoU: 0.0
自転車IoU: 0.2904
キャラバンIoU: 0.0
トレーラー付き車IoU: 0.0
建物IoU: 0.7233
ドアIoU: 0.0
壁IoU: 0.4555
柵・ガードレールIoU: 0.3734
橋IoU: 0.0
トンネルIoU: nan
階段IoU: 0.0
ポールIoU: 0.2484
交通標識IoU: 0.0
信号機IoU: 0.0
自然・植生IoU: 0.8451
地形IoU: 0.7346
天空IoU: 0.9161
地面IoU: 0.0
動的IoU: 0.0
静的IoU: 0.2359
不明IoU: 0.0

🔧 技術詳細

トレーニングハイパーパラメータ

トレーニング中には以下のハイパーパラメータが使用されました。

学習率: 6e-05
トレーニングバッチサイズ: 8
評価バッチサイズ: 8
シード: 42
オプティマイザ: Adam (ベータ=(0.9,0.999), イプシロン=1e-08)
学習率スケジューラタイプ: 線形
エポック数: 20

トレーニング結果

トレーニング損失	エポック	ステップ	検証損失	平均IoU	平均精度	全体精度	未ラベル精度	平坦道路精度	歩道精度	横断歩道精度	自転車道精度	駐車場・車道精度	鉄道軌道精度	縁石精度	人物精度	車精度	バス精度	路面電車・列車精度	自転車精度	建物精度	壁精度	柵・ガードレール精度	トンネル精度	ポール精度	自然・植生精度	地形精度	天空精度	静的精度	未ラベルIoU	平坦道路IoU	歩道IoU	横断歩道IoU	自転車道IoU	駐車場・車道IoU	鉄道軌道IoU	縁石IoU	人物IoU	車IoU	バスIoU	路面電車・列車IoU	建物IoU	壁IoU	トンネルIoU	ポールIoU	自然・植生IoU	地形IoU	天空IoU	静的IoU
1.4172	1.87	200	1.2183	0.1696	0.2214	0.7509	nan	0.8882	0.9199	0.0	0.4200	0.0164	nan	0.0	0.0	0.8778	nan	nan	0.0	0.8448	0.0	0.0	nan	0.0	0.9430	0.8044	0.9274	0.0	nan	0.5435	0.8135	0.0	0.3743	0.0160	nan	0.0	0.0	0.6044	nan	nan	0.5373	0.0	nan	0.0	0.7516	0.6550	0.7928	0.0
1.1152	3.74	400	0.8946	0.1947	0.2441	0.7852	nan	0.8535	0.9471	0.0	0.7379	0.2453	nan	0.0398	0.0	0.8882	nan	nan	0.0	0.8746	0.0061	0.0	nan	0.0014	0.9526	0.8285	0.9448	0.0019	nan	0.6355	0.8321	0.0	0.5529	0.1940	nan	0.0392	0.0	0.6807	nan	nan	0.5913	0.0061	nan	0.0014	0.7701	0.6777	0.8567	0.0019
0.6637	5.61	600	0.7447	0.2349	0.2841	0.8104	nan	0.8589	0.9451	0.4455	0.8008	0.3753	nan	0.3267	0.0380	0.8920	nan	nan	0.0	0.9227	0.0938	0.0	nan	0.0167	0.9291	0.8677	0.9557	0.0562	nan	0.6768	0.8543	0.4064	0.6414	0.2914	nan	0.2749	0.0376	0.7268	nan	nan	0.6078	0.0879	nan	0.0164	0.8005	0.6817	0.8918	0.0525
0.673	7.48	800	0.6631	0.2691	0.3202	0.8278	nan	0.8387	0.9575	0.6176	0.7938	0.4208	nan	0.3575	0.3977	0.9264	nan	nan	0.0	0.9068	0.4035	0.0	nan	0.1137	0.9495	0.8165	0.9453	0.1599	nan	0.7042	0.8567	0.5239	0.6600	0.3246	nan	0.3003	0.3212	0.7246	nan	nan	0.6749	0.3113	nan	0.1038	0.8147	0.7070	0.9008	0.1445
0.502	9.35	1000	0.6249	0.2818	0.3371	0.8345	nan	0.8332	0.9538	0.7158	0.8344	0.4079	nan	0.4420	0.4941	0.9275	nan	nan	0.0172	0.9102	0.4787	0.0253	nan	0.1454	0.9460	0.8350	0.9588	0.2233	nan	0.7104	0.8603	0.5944	0.6733	0.3347	nan	0.3696	0.4048	0.7373	nan	nan	0.6833	0.4324	nan	0.1334	0.8217	0.7126	0.9073	0.2022