mit-b0-CMP_semantic_seg_with_mps_v2オープンソースモデル - 無料で建物の立面画像分割をデプロイ完了

ホーム

Mit B0 CMP Semantic Seg With Mps V2

DunnBC22によって開発

nvidia/mit-b0をファインチューニングしたセマンティックセグメンテーションモデルで、建築ファサード画像の分割タスクに使用

画像セグメンテーション

Transformers

英語オープンソースライセンス:その他 #建築ファサード分割 #多クラス識別 #SegFormerファインチューニング

ダウンロード数 15

リリース時間 : 2/20/2023

モデル概要

このモデルはnvidia/mit-b0アーキテクチャをファインチューニングしたセマンティックセグメンテーションモデルで、建築ファサード画像の分割タスク専用に設計されており、12種類の建築要素カテゴリを識別可能

モデル特徴

建築ファサード要素識別

建築ファサード内の12種類の異なる要素カテゴリを正確に識別可能

効率的な分割性能

評価データセットで0.4097の平均IoUと0.6951の全体精度を達成

MIT-B0アーキテクチャベース

軽量かつ効率的なMIT-B0アーキテクチャを採用した画像分割モデル

モデル能力

画像セマンティックセグメンテーション

建築要素識別

コンピュータビジョン分析

使用事例

建築デジタル化

建築ファサード分析

建築ファサード内の様々な要素を自動識別・分割

平均IoU 0.4097、全体精度0.6951

都市計画

都市建築スタイル分析

建築ファサード分割結果を用いて都市建築スタイルの分布を分析

🚀 mit-b0-CMP_semantic_seg_with_mps_v2

このモデルは、nvidia/mit-b0 を微調整したバージョンです。画像セグメンテーションタスクに特化しており、特定のデータセットで訓練され、高い性能を発揮します。

🚀 クイックスタート

このモデルは、画像セグメンテーションの複雑な問題を解決する能力を示すために開発されました。以下に、評価セットでの結果を示します。

損失: 1.0863
平均IoU: 0.4097
平均精度: 0.5538
全体精度: 0.6951
カテゴリ別IoU:
- セグメント0: 0.5921698801573617
- セグメント1: 0.5795623712718901
- セグメント2: 0.5784812820145221
- セグメント3: 0.2917052691882505
- セグメント4: 0.3792639848157326
- セグメント5: 0.37973303153855376
- セグメント6: 0.4481097636024487
- セグメント7: 0.4354492668218124
- セグメント8: 0.26472453634508664
- セグメント9: 0.4173722023142026
- セグメント10: 0.18166072949276144
- セグメント11: 0.36809541729585366
カテゴリ別精度:
- セグメント0: 0.6884460857323806
- セグメント1: 0.7851625477616788
- セグメント2: 0.7322992353412343
- セグメント3: 0.45229387721112274
- セグメント4: 0.5829333862769369
- セグメント5: 0.5516333441001092
- セグメント6: 0.5904157921999404
- セグメント7: 0.5288772981353482
- セグメント8: 0.4518224891972707
- セグメント9: 0.571864661897264
- セグメント10: 0.23178753217655862
- セグメント11: 0.47833833709905393

✨ 主な機能

画像セグメンテーションタスクに対応しています。
特定のデータセットで訓練され、高い性能を発揮します。
技術的な複雑な問題を解決する能力を示します。

📚 ドキュメント

モデルの説明

モデルの作成方法に関する詳細情報は、以下のリンクを参照してください。 https://github.com/DunnBC22/Vision_Audio_and_Multimodal_Projects/blob/main/Computer%20Vision/Image%20Segmentation/Trained%2C%20But%20to%20My%20Standard/Center%20for%20Machine%20Perception/Version%202/Center%20for%20Machine%20Perception%20-%20semantic_segmentation_v2.ipynb

想定される用途と制限

このモデルは、技術を用いて複雑な問題を解決する能力を示すことを目的としています。自由に使用できますが、自己責任での使用をお願いします。

訓練と評価データ

データセットのソース: https://huggingface.co/datasets/Xpitfire/cmp_facade

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

学習率: 6e-05
訓練バッチサイズ: 2
評価バッチサイズ: 2
シード: 42
オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラのタイプ: linear
エポック数: 50

訓練結果

全体のデータセットメトリクス

訓練損失	エポック	ステップ	検証損失	平均IoU	平均精度	全体精度
1.6807	1.0	189	1.3310	0.2226	0.3388	0.5893
1.1837	2.0	378	1.1731	0.2602	0.3876	0.6122
1.0241	3.0	567	1.0485	0.2915	0.3954	0.6393
0.9353	4.0	756	0.9943	0.3054	0.4021	0.6570
0.8717	5.0	945	1.0010	0.3299	0.4440	0.6530
0.8238	6.0	1134	0.9537	0.3546	0.4771	0.6701
0.7415	8.0	1512	0.9738	0.3554	0.4634	0.6733
0.7708	7.0	1323	0.9789	0.3550	0.4837	0.6683
0.7018	9.0	1701	0.9449	0.3667	0.4802	0.6826
0.682	10.0	1890	0.9422	0.3762	0.5047	0.6805
0.6503	11.0	2079	0.9889	0.3785	0.5082	0.6729
0.633	12.0	2268	0.9594	0.3901	0.5224	0.6797
0.6035	13.0	2457	0.9612	0.3939	0.5288	0.6834
0.5874	14.0	2646	0.9657	0.3939	0.5383	0.6844
0.5684	15.0	2835	0.9762	0.3950	0.5446	0.6855
0.5485	16.0	3024	1.0645	0.3794	0.5095	0.6704
0.5402	17.0	3213	0.9747	0.4044	0.5600	0.6839
0.5275	18.0	3402	1.0054	0.3944	0.5411	0.6790
0.5032	19.0	3591	1.0014	0.3973	0.5256	0.6875
0.4985	20.0	3780	0.9893	0.3990	0.5468	0.6883
0.4925	21.0	3969	1.0416	0.3955	0.5339	0.6806
0.4772	22.0	4158	1.0142	0.3969	0.5476	0.6838
0.4707	23.0	4347	0.9896	0.4077	0.5458	0.6966
0.4601	24.0	4536	1.0040	0.4104	0.5551	0.6948
0.4544	25.0	4725	1.0093	0.4093	0.5652	0.6899
0.4421	26.0	4914	1.0434	0.4064	0.5448	0.6938
0.4293	27.0	5103	1.0391	0.4076	0.5571	0.6908
0.4312	28.0	5292	1.0037	0.4100	0.5534	0.6958
0.4309	29.0	5481	1.0288	0.4101	0.5493	0.6968
0.4146	30.0	5670	1.0602	0.4062	0.5445	0.6928
0.4106	31.0	5859	1.0573	0.4113	0.5520	0.6937
0.4102	32.0	6048	1.0616	0.4043	0.5444	0.6904
0.394	33.0	6237	1.0244	0.4104	0.5587	0.6957
0.3865	34.0	6426	1.0618	0.4086	0.5468	0.6922
0.3816	35.0	6615	1.0515	0.4109	0.5587	0.6937
0.3803	36.0	6804	1.0709	0.4118	0.5507	0.6982
0.3841	37.0	6993	1.0646	0.4102	0.5423	0.7000
0.383	38.0	7182	1.0769	0.4076	0.5463	0.6981
0.3831	39.0	7371	1.0821	0.4081	0.5438	0.6949
0.3701	40.0	7560	1.0971	0.4094	0.5503	0.6939
0.3728	41.0	7749	1.0850	0.4073	0.5426	0.6955
0.3693	42.0	7938	1.0969	0.4065	0.5503	0.6922
0.3627	43.0	8127	1.0932	0.4087	0.5497	0.6948
0.3707	44.0	8316	1.1095	0.4071	0.5449	0.6950
0.3715	45.0	8505	1.0884	0.4110	0.5481	0.6962
0.3637	46.0	8694	1.0893	0.4116	0.5565	0.6948
0.3581	47.0	8883	1.1164	0.4080	0.5443	0.6938
0.3595	48.0	9072	1.1264	0.4056	0.5374	0.6942
0.3604	49.0	9261	1.0948	0.4104	0.5508	0.6953
0.3541	50.0	9450	1.0863	0.4097	0.5538	0.6951

各セグメントのカテゴリ別IoU

エポック	セグメント0	セグメント1	セグメント2	セグメント3	セグメント4	セグメント5	セグメント6	セグメント7	セグメント8	セグメント9	セグメント10	セグメント11
1.0	0.4635	0.4905	0.4698	0.0	0.2307	0.1515	0.2789	0.0002	0.0250	0.3527	0.0	0.2087
2.0	0.4240	0.5249	0.5152	0.0057	0.2636	0.2756	0.3312	0.0575	0.0539	0.3860	0.0	0.2854
3.0	0.5442	0.5037	0.5329	0.0412	0.3062	0.2714	0.3820	0.1430	0.0796	0.4007	0.0002	0.2929
4.0	0.5776	0.5289	0.5391	0.1171	0.3137	0.2600	0.3664	0.1527	0.1074	0.3935	0.0002	0.3078
5.0	0.4790	0.5506	0.5472	0.1547	0.3372	0.3297	0.4151	0.2339	0.1709	0.4081	0.0008	0.3314
6.0	0.5572	0.5525	0.5611	0.2076	0.3434	0.3163	0.4103	0.3279	0.2107	0.4191	0.0067	0.3418
7.0	0.5310	0.5634	0.5594	0.2299	0.3424	0.3375	0.4050	0.2883	0.2197	0.4142	0.0316	0.3373
8.0	0.5366	0.5659	0.5550	0.2331	0.3497	0.3334	0.4301	0.3401	0.1989	0.4181	0.0358	0.2680
9.0	0.5798	0.5657	0.5624	0.2368	0.3648	0.3271	0.4250	0.3207	0.2096	0.4236	0.0504	0.3346
10.0	0.5802	0.5622	0.5585	0.2340	0.3793	0.3407	0.4277	0.3801	0.2301	0.4216	0.0640	0.3367
11.0	0.5193	0.5649	0.5605	0.2698	0.3772	0.3526	0.4342	0.3433	0.2415	0.4336	0.0889	0.3562
12.0	0.5539	0.5641	0.5679	0.2658	0.3757	0.3510	0.4257	0.3993	0.2354	0.4338	0.1800	0.3287
13.0	0.5663	0.5666	0.5679	0.2631	0.3726	0.3609	0.4351	0.3759	0.2511	0.4256	0.1737	0.3681
14.0	0.5807	0.5670	0.5679	0.2670	0.3594	0.3605	0.4393	0.3863	0.2406	0.4228	0.1705	0.3652
15.0	0.5800	0.5711	0.5671	0.2825	0.3664	0.3587	0.4408	0.4021	0.2540	0.4246	0.1376	0.3548
16.0	0.4855	0.5683	0.5685	0.2612	0.3832	0.3628	0.4378	0.4056	0.2525	0.4206	0.1242	0.2825
17.0	0.5697	0.5674	0.5687	0.2971	0.3767	0.3741	0.4486	0.4126	0.2489	0.4260	0.1874	0.3757
18.0	0.5341	0.5728	0.5616	0.2827	0.3823	0.3782	0.4298	0.4070	0.2578	0.4195	0.1448	0.3632
19.0	0.5696	0.5739	0.5699	0.2918	0.3717	0.3635	0.4444	0.4122	0.2531	0.4142	0.1659	0.3369
20.0	0.5937	0.5702	0.5630	0.2892	0.3790	0.3757	0.4383	0.4110	0.2592	0.4147	0.1291	0.3653
21.0	0.5336	0.5723	0.5732	0.2843	0.3748	0.3738	0.4383	0.3876	0.2598	0.4170	0.1693	0.3624
22.0	0.5634	0.5752	0.5595	0.2783	0.3833	0.3540	0.4448	0.4054	0.2586	0.4145	0.1597	0.3660
23.0	0.6013	0.5801	0.5794	0.2988	0.3816	0.3736	0.4464	0.4241	0.2633	0.4162	0.1747	0.3530
24.0	0.6061	0.5756	0.5721	0.3086	0.3771	0.3707	0.4459	0.4242	0.2665	0.4104	0.1942	0.3732
25.0	0.5826	0.5745	0.5742	0.3109	0.3765	0.3784	0.4441	0.4184	0.2609	0.4219	0.1930	0.3765
26.0	0.5783	0.5821	0.5770	0.2985	0.3885	0.3582	0.4458	0.4220	0.2717	0.4260	0.1690	0.3600
27.0	0.5764	0.5777	0.5749	0.2868	0.3824	0.3857	0.4450	0.4170	0.2644	0.4295	0.1922	-
28.0	0.6023	0.5776	0.5769	0.2964	0.3759	0.3758	0.4464	0.4245	0.2712	0.4083	0.1967	0.3680
29.0	0.6043	0.5814	0.5728	0.2882	0.3867	0.3841	0.4369	0.4254	0.2659	0.4252	0.2106	0.3391
30.0	0.5840	0.5792	0.5750	0.2859	0.3839	0.3786	0.4479	0.4259	0.2664	0.3947	0.1753	0.3780
31.0	0.5819	0.5787	0.5775	0.2882	0.3861	0.3888	0.4522	0.4207	0.2722	0.4277	0.2050	0.3566
32.0	0.5769	0.5774	0.5737	0.2844	0.3762	0.3768	0.4424	0.4331	0.2649	0.3959	0.1748	0.3744
33.0	0.6076	0.5755	0.5774	0.2887	0.3833	0.3803	0.4483	0.4329	0.2687	0.4194	0.1884	0.3547
34.0	0.5729	0.5787	0.5789	0.2853	0.3854	0.3735	0.4469	0.4279	0.2694	0.4240	0.1986	0.3613
35.0	0.5942	0.5769	0.5777	0.2873	0.3867	0.3811	0.4448	0.4281	0.2669	0.4147	0.1956	0.3774
36.0	0.6024	0.5819	0.5782	0.2870	0.3850	0.3781	0.4469	0.4259	0.2696	0.4177	0.1885	0.3802
37.0	0.6099	0.5822	0.5787	0.2920	0.3827	0.3739	0.4416	0.4271	0.2646	0.4200	0.1864	0.3637
38.0	0.6028	0.5823	0.5799	0.2887	0.3828	0.3770	0.4470	0.4238	0.2639	0.4197	0.1617	0.3610
39.0	0.5856	0.5809	0.5772	0.2889	0.3772	0.3683	0.4493	0.4296	0.2665	0.4112	0.1902	0.3723
40.0	0.5830	0.5808	0.5785	0.2947	0.3803	0.3832	0.4496	0.4284	0.2675	0.4111	0.1913	0.3644
41.0	0.5853	0.5827	0.5786	0.2921	0.3809	0.3712	0.4464	0.4330	0.2670	0.4180	0.1631	0.3694
42.0	0.5756	0.5804	0.5766	0.2872	0.3775	0.3786	0.4480	0.4396	0.2669	0.4132	0.1619	0.3729
43.0	0.5872	0.5821	0.5762	0.2896	0.3820	0.3742	0.4499	0.4346	0.2685	0.4164	0.1848	0.3597
44.0	0.5894	0.5823	0.5774	0.2917	0.3801	0.3754	0.4476	0.4287	0.2635	0.4096	0.1911	0.3478
45.0	0.5912	0.5809	0.5791	0.2980	0.3817	0.3750	0.4483	0.4349	0.2677	0.4155	0.1909	0.3686
46.0	0.5922	0.5794	0.5788	0.2952	0.3804	0.3754	0.4487	0.4356	0.2641	0.4159	0.2068	0.3666
47.0	0.5748	0.5822	0.5779	0.2909	0.3849	0.3751	0.4487	0.4350	0.2687	0.4150	0.1785	0.3643
48.0	0.5787	0.5823	0.5789	0.2896	0.3819	0.3750	0.4479	0.4224	0.2665	0.4140	0.1723	0.3580
49.0	0.5878	0.5812	0.5782	0.2930	0.3807	0.3796	0.4482	0.4364	0.2659	0.4139	0.1915	0.3678
50.0	0.5922	0.5796	0.5785	0.2917	0.3793	0.3797	0.4481	0.4354	0.2647	0.4174	0.1817	0.3681

各セグメントのカテゴリ別精度

エポック	セグメント0	セグメント1	セグメント2	セグメント3	セグメント4	セグメント5	セグメント6	セグメント7	セグメント8	セグメント9	セグメント10	セグメント11
1.0	0.6133	0.6847	0.7408	0.0	0.4973	0.1720	0.4073	0.0002	0.0255	0.6371	0.0	0.2874
2.0	0.4782	0.7844	0.6966	0.0057	0.5735	0.3684	0.6226	0.0577	0.0563	0.5907	0.0	0.4168
3.0	0.8126	0.6852	0.6683	0.0420	0.4972	0.3418	0.5121	0.1453	0.0849	0.5882	0.0002	0.3672
4.0	0.8079	0.7362	0.6803	0.1231	0.5129	0.3324	0.4212	0.1554	0.1223	0.5587	0.0002	0.3751
5.0	0.5408	0.8111	0.7439	0.1647	0.5336	0.4720	0.5650	0.2459	0.2127	0.6032	0.0008	0.4343
6.0	0.6870	0.7532	0.7389	0.2428	0.5081	0.4173	0.5923	0.3710	0.3117	0.6181	0.0068	0.4785
7.0	0.6050	0.7961	0.7434	0.2876	0.5835	0.4949	0.5608	0.3103	0.3672	0.6185	0.0345	0.4022
8.0	0.6081	0.8461	0.6598	0.3035	0.5720	0.4540	0.5735	0.3849	0.2642	0.5608	0.0379	0.2962
9.0	0.7241	0.7684	0.7677	0.2958	0.5321	0.4212	0.5547	0.3513	0.2813	0.6123	0.0524	0.4028
10.0	0.7337	0.7744	0.7737	0.2934	0.5414	0.4313	0.5675	0.3799	0.3024	0.6168	0.0688	0.4073
11.0	0.6347	0.7807	0.7711	0.3266	0.5403	0.4446	0.5763	0.3633	0.3183	0.6248	0.1088	0.4290
12.0	0.6773	0.7829	0.7797	0.3206	0.5377	0.4450	0.5653	0.4219	0.3121	0.6260	0.2126	0.3946
13.0	0.6917	0.7847	0.7797	0.3163	0.5348	0.4544	0.5777	0.3977	0.3278	0.6178	0.2063	0.4350
14.0	0.7056	0.7854	0.7797	0.3204	0.5228	0.4541	0.5821	0.4081	0.3173	0.6150	0.2031	0.4321
15.0	0.7048	0.7900	0.7789	0.3361	0.5296	0.4523	0.5836	0.4239	0.3307	0.6168	0.1636	0.4217
16.0	0.6003	0.7877	0.7803	0.3148	0.5463	0.4564	0.5806	0.4274	0.3292	0.6128	0.1478	0.3494
17.0	0.6945	0.7868	0.7805	0.3507	0.5399	0.4677	0.5914	0.4344	0.3256	0.6182	0.2210	0.4426
18.0	0.6505	0.7917	0.7734	0.3363	0.5455	0.4718	0.5726	0.4288	0.3345	0.6117	0.1704	0.4301
19.0	0.6944	0.7927	0.7817	0.3454	0.5349	0.4571	0.5872	0.4340	0.3300	0.6064	0.1915	0.4038
20.0	0.7178	0.7900	0.7748	0.3428	0.5422	0.4693	0.5811	0.4328	0.3359	0.6069	0.1537	0.4322
21.0	0.6500	0.7911	0.7950	0.3379	0.5380	0.4674	0.5811	0.4094	0.3365	0.6092	0.1949	0.4293
22.0	0.6802	0.7940	0.7713	0.3319	0.5465	0.4476	0.5876	0.4272	0.3353	0.6067	0.1853	0.4329
23.0	0.7248	0.7989	0.7912	0.3524	0.5448	0.4672	0.5892	0.4459	0.3400	0.6084	0.2003	0.4200
24.0	0.7304	0.7944	0.7839	0.3622	0.5403	0.4643	0.5887	0.4460	0.3432	0.6026	0.2208	0.4401
25.0	0.7064	0.7933	0.7960	0.3645	0.5397	0.4720	0.5869	0.4402	0.3376	0.6141	0.2196	0.4434
26.0	0.7021	0.8009	0.7988	0.3521	0.5517	0.4518	0.5886	0.4438	0.3484	0.6182	0.1946	0.4269
27.0	0.7002	0.7965	0.7967	0.3404	0.5456	0.4793	0.5878	0.4388	0.3411	0.6217	0.2188	-
28.0	0.7259	0.7964	0.7987	0.3500	0.5391	0.4694	0.5892	0.4463	0.3479	0.6005	0.2233	0.4349
29.0	0.7281	0.8002	0.7946	0.3418	0.5499	0.4777	0.5797	0.4472	0.3426	0.6174	0.2372	0.4060
30.0	0.7082	0.7980	0.7968	0.3395	0.5471	0.4722	0.5907	0.4477	0.3431	0.5869	0.2019	0.4449
31.0	0.7061	0.7975	0.7993	0.3418	0.5493	0.4824	0.5950	0.4425	0.3489	0.6199	0.2316	0.4235
32.0	0.7007	0.7962	0.7955	0.3380	0.5394	0.4704	0.5852	0.4549	0.3416	0.5881	0.2014	0.4413
33.0	0.7324	0.7943	0.7992	0.3423	0.5465	0.4739	0.5911	0.4547	0.3454	0.6116	0.2150	0.4216
34.0	0.7067	0.7975	0.7997	0.3389	0.5486	0.4671	0.5897	0.4497	0.3461	0.6162	0.2252	0.4282
35.0	0.7180	0.7957	0.7995	0.3409	0.5499	0.4747	0.5876	0.4500	0.3436	0.6069	0.2222	0.4443
36.0	0.7262	0.8007	0.7999	0.3406	0.5482	0.4717	0.5897	0.4477	0.3463	0.6099	0.2151	0.4471
37.0	0.7337	0.8010	0.7995	0.3456	0.5459	0.4675	0.5844	0.4489	0.3413	0.6122	0.2130	0.4306
38.0	0.7266	0.8011	0.8017	0.3423	0.5460	0.4706	0.5898	0.4456	0.3406	0.6119	0.1883	0.4279
39.0	0.7094	0.7997	0.7990	0.3425	0.5404	0.4619	0.5921	0.4514	0.3432	0.6034	0.2168	0.4392
40.0	0.7068	0.7996	0.7993	0.3483	0.5435	0.4768	0.5924	0.4502	0.3442	0.6033	0.2179	0.4313
41.0	0.7091	0.8015	0.7994	0.3457	0.5441	0.4648	0.5892	0.4548	0.3437	0.6102	0.1900	0.4363
42.0	0.7004	0.7992	0.7984	0.3408	0.5407	0.4722	0.5908	0.4614	0.3436	0.6054	0.1885	0.4398
43.0	0.7110	0.8009	0.7980	0.3432	0.5452	0.4678	0.5927	0.4564	0.3452	0.6086	0.2114	0.4266
44.0	0.7132	0.8011	0.7992	0.3453	0.5433	0.4690	0.5904	0.4505	0.3402	0.6018	0.2177	0.4147
45.0	0.7150	0.8007	0.8009	0.3516	0.5449	0.4686	0.5911	0.4567	0.3444	0.6077	0.2175	0.4355
46.0	0.7160	0.7992	0.8006	0.3488	0.5436	0.4690	0.5915	0.4574	0.3408	0.6081	0.2334	0.4335
47.0	0.7006	0.8010	0.7997	0.3445	0.5481	0.4687	0.5915	0.4568	0.3454	0.6072	0.2051	0.4312
48.0	0.7025	0.8011	0.7997	0.3432	0.5451	0.4686	0.5907	0.4442	0.3432	0.6062	0.1989	0.4249
49.0	0.7116	0.8000	0.7999	0.3466	0.5439	0.4732	0.5910	0.4582	0.3426	0.6061	0.2181	0.4347
50.0	0.7178	0.7994	0.7993	0.3453	0.5425	0.4797	0.5904	0.4572	0.3414	0.6096	0.2083	0.4452