finetune-instance-segmentation-ade20k-mini-mask2former-v1开源模型

首页

Finetune Instance Segmentation Ade20k Mini Mask2former V1

由 qubvel-hf 开发

该模型是基于Mask2Former-Swin-Tiny架构在ADE20K-mini数据集上微调的实例分割模型，擅长识别图像中的物体实例并精确分割其边界。

图像分割

Transformers

开源协议:其他 #小目标实例分割 #ADE20K场景解析 #Swin-Tiny架构

下载量 19

发布时间 : 5/30/2024

模型简介

用于图像实例分割的视觉模型，能够识别并分割图像中的各类物体实例，特别适用于场景理解任务。

模型特点

高效实例分割

基于Swin Transformer的轻量级架构，在保持较高精度的同时实现高效分割

多尺度目标处理

能够有效处理不同尺寸的目标，从小物体到大物体都有不错的分割性能

特定类别优化

在人物和车辆等常见类别上表现突出，适合场景理解应用

模型能力

图像实例分割

物体边界精确识别

多类别物体区分

场景理解

使用案例

智能交通

道路场景分析

识别和分割道路上的车辆、行人等元素

车辆mAP达到0.3003，MAR@100为0.3776

安防监控

人员检测与追踪

精确分割监控画面中的人物实例

人物mAP达到0.1626，MAR@100为0.2224

🚀 finetune-instance-segmentation-ade20k-mini-mask2former-v1

该模型是基于 facebook/mask2former-swin-tiny-coco-instance 在 qubvel-hf/ade20k-mini 数据集上微调得到的。它在评估集上取得了以下结果：

损失值：27.5494
平均精度均值（mAP）：0.2315
mAP@50：0.4495
mAP@75：0.2185
小目标 mAP：0.1535
中目标 mAP：0.6606
大目标 mAP：0.8161
召回率@1（mAR_1）：0.0981
召回率@10（mAR_10）：0.2576
召回率@100（mAR_100）：0.3
小目标 mAR：0.2272
中目标 mAR：0.7189
大目标 mAR：0.8618
人物 mAP：0.1626
人物 mAR_100：0.2224
汽车 mAP：0.3003
汽车 mAR_100：0.3776

🚀 快速开始

本模型可用于图像分割和实例分割任务，基于预训练的 facebook/mask2former-swin-tiny-coco-instance 模型在特定数据集上微调得到，可直接应用于相关视觉任务。

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

学习率：1e-05
训练批次大小：8
评估批次大小：8
随机种子：42
梯度累积步数：2
总训练批次大小：16
优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
学习率调度器类型：常数
训练轮数：40.0
混合精度训练：Native AMP

训练结果

训练损失	轮数	步数	验证损失	mAP	mAP@50	mAP@75	小目标 mAP	中目标 mAP	大目标 mAP	mAR_1	mAR_10	mAR_100	小目标 mAR	中目标 mAR	大目标 mAR	人物 mAP	人物 mAR_100	汽车 mAP	汽车 mAR_100
36.7831	1.0	100	33.2768	0.1838	0.3677	0.174	0.1175	0.6012	0.7974	0.0884	0.2431	0.284	0.2104	0.7053	0.8712	0.1175	0.2014	0.25	0.3665
30.2324	2.0	200	30.8268	0.198	0.4007	0.1831	0.1321	0.6183	0.8028	0.0916	0.25	0.2885	0.2151	0.7125	0.8354	0.1331	0.2079	0.263	0.3691
28.4136	3.0	300	29.8261	0.2036	0.416	0.1849	0.1337	0.6332	0.7969	0.0934	0.2472	0.2905	0.2169	0.7162	0.8323	0.1381	0.2112	0.269	0.3697
27.5659	4.0	400	29.2926	0.2101	0.4176	0.1918	0.1371	0.6352	0.8051	0.094	0.25	0.2884	0.2143	0.7174	0.8354	0.1456	0.2107	0.2745	0.3661
26.9971	5.0	500	28.8044	0.213	0.4209	0.2016	0.1379	0.6419	0.8094	0.093	0.2499	0.2894	0.2148	0.7207	0.8441	0.1475	0.2096	0.2785	0.3692
26.42	6.0	600	28.4848	0.2196	0.4224	0.2062	0.1426	0.647	0.8046	0.0944	0.2523	0.2925	0.2188	0.7196	0.8354	0.15	0.2106	0.2892	0.3745
25.9065	7.0	700	28.2601	0.2212	0.4261	0.207	0.1444	0.6442	0.8049	0.0943	0.2527	0.2902	0.2176	0.7103	0.8323	0.153	0.2102	0.2893	0.3703
25.6766	8.0	800	28.2581	0.2209	0.4276	0.2076	0.1434	0.6485	0.8201	0.0943	0.2532	0.294	0.2197	0.7212	0.8681	0.1532	0.2122	0.2885	0.3758
25.3111	9.0	900	27.8623	0.2234	0.4318	0.2163	0.1451	0.649	0.8252	0.0951	0.2519	0.2953	0.2212	0.721	0.8649	0.1561	0.2148	0.2907	0.3757
24.9424	10.0	1000	27.8925	0.2256	0.4367	0.2129	0.1479	0.6476	0.8314	0.0953	0.2556	0.2973	0.2244	0.7159	0.8712	0.1588	0.2153	0.2923	0.3793
24.6502	11.0	1100	27.7524	0.2254	0.441	0.2163	0.1486	0.6468	0.8186	0.0952	0.2556	0.2963	0.2231	0.7167	0.8681	0.1578	0.2153	0.2929	0.3772
24.5278	12.0	1200	27.7122	0.2252	0.4349	0.2167	0.1473	0.6462	0.8237	0.0927	0.2549	0.2979	0.2251	0.7162	0.8649	0.1583	0.2165	0.2921	0.3793
24.3514	13.0	1300	27.5382	0.224	0.4345	0.2156	0.1459	0.6554	0.8324	0.0958	0.2554	0.2988	0.2251	0.722	0.8806	0.1583	0.2191	0.2897	0.3785
24.3422	14.0	1400	27.5665	0.226	0.4374	0.2172	0.1488	0.6505	0.8059	0.0974	0.2551	0.2964	0.2241	0.7141	0.8434	0.1592	0.2158	0.2928	0.377
23.9768	15.0	1500	27.7770	0.2281	0.4379	0.2215	0.1499	0.6553	0.8188	0.096	0.2553	0.2978	0.2244	0.72	0.8632	0.1599	0.2163	0.2963	0.3793
23.7005	16.0	1600	27.5535	0.227	0.4392	0.2167	0.1485	0.6509	0.8165	0.0965	0.255	0.2972	0.2241	0.7175	0.8656	0.1608	0.2164	0.2932	0.3779
23.579	17.0	1700	27.4894	0.2286	0.44	0.2209	0.1511	0.6488	0.8152	0.097	0.2583	0.2965	0.2243	0.7113	0.8601	0.162	0.2144	0.2952	0.3785
23.5004	18.0	1800	27.2188	0.2274	0.4374	0.216	0.1498	0.6512	0.7954	0.0962	0.2562	0.2969	0.2251	0.712	0.8323	0.1614	0.215	0.2933	0.3788
23.1744	19.0	1900	27.3523	0.2286	0.4391	0.2166	0.1494	0.6559	0.8203	0.0962	0.2565	0.2998	0.2274	0.7156	0.8656	0.1602	0.2174	0.297	0.3821
23.1884	20.0	2000	27.1185	0.2304	0.4395	0.2204	0.1521	0.6533	0.8004	0.0968	0.2558	0.299	0.2273	0.7131	0.8347	0.1611	0.217	0.2998	0.3809
22.9136	21.0	2100	27.4296	0.2301	0.4386	0.2197	0.1518	0.6545	0.8185	0.0968	0.2552	0.2979	0.2256	0.7123	0.8712	0.1609	0.2179	0.2992	0.3778
22.6863	22.0	2200	26.9978	0.2309	0.444	0.2196	0.1519	0.657	0.7955	0.0976	0.2543	0.2982	0.2264	0.714	0.8316	0.1624	0.2181	0.2994	0.3784
22.7741	23.0	2300	27.0703	0.23	0.4436	0.2183	0.1519	0.6508	0.8029	0.0966	0.2562	0.3001	0.229	0.7106	0.8434	0.162	0.218	0.2979	0.3823
22.4779	24.0	2400	27.0394	0.2335	0.4521	0.2252	0.1552	0.656	0.8318	0.0962	0.2598	0.3026	0.231	0.7143	0.8601	0.1624	0.2187	0.3045	0.3865
22.357	25.0	2500	27.1483	0.2304	0.4456	0.2189	0.1517	0.6586	0.8065	0.0967	0.2554	0.2996	0.2278	0.7143	0.8378	0.162	0.2187	0.2989	0.3805
22.3167	26.0	2600	27.3299	0.232	0.4438	0.2193	0.1534	0.6572	0.8221	0.0977	0.2564	0.2989	0.2267	0.7134	0.8681	0.1624	0.2176	0.3016	0.3802
22.0958	27.0	2700	27.2571	0.232	0.4438	0.2171	0.1535	0.6539	0.8268	0.0974	0.2591	0.2986	0.226	0.7153	0.8774	0.1622	0.2185	0.3018	0.3788
22.0902	28.0	2800	27.5156	0.2315	0.4482	0.2177	0.1539	0.6566	0.8265	0.0978	0.2583	0.3021	0.23	0.716	0.8719	0.1626	0.22	0.3004	0.3842
21.9943	29.0	2900	27.0142	0.2288	0.4449	0.2155	0.1511	0.6536	0.8176	0.097	0.2557	0.2984	0.2257	0.7169	0.8569	0.1616	0.2202	0.2961	0.3766
21.8843	30.0	3000	27.1738	0.2314	0.4456	0.2192	0.1534	0.6557	0.8263	0.0973	0.2587	0.3026	0.23	0.7204	0.8625	0.1629	0.2203	0.2999	0.3848
21.8635	31.0	3100	27.0658	0.2316	0.4461	0.22	0.1534	0.6582	0.8166	0.0987	0.2581	0.3013	0.2292	0.7156	0.8625	0.163	0.2188	0.3003	0.3838
21.473	32.0	3200	27.1354	0.2323	0.4493	0.219	0.1545	0.6569	0.8077	0.0966	0.259	0.3024	0.2305	0.7172	0.8507	0.1619	0.2182	0.3026	0.3866
21.6879	33.0	3300	26.9810	0.2306	0.4461	0.2178	0.1533	0.6572	0.8095	0.0983	0.2581	0.3004	0.2285	0.7146	0.8476	0.1624	0.2194	0.2989	0.3814
21.3771	34.0	3400	27.5323	0.23	0.4476	0.2149	0.1536	0.6593	0.8185	0.0968	0.2577	0.2996	0.2265	0.7204	0.8618	0.162	0.2212	0.298	0.3781
21.2772	35.0	3500	27.1451	0.2327	0.4465	0.2172	0.1544	0.6641	0.8195	0.0988	0.2597	0.3028	0.2294	0.7262	0.8594	0.1616	0.221	0.3038	0.3847
21.3682	36.0	3600	27.4698	0.2334	0.4503	0.2184	0.155	0.6608	0.8088	0.0985	0.2574	0.3013	0.2292	0.7164	0.8594	0.1657	0.223	0.3011	0.3797
21.0417	37.0	3700	27.2499	0.2354	0.4523	0.2211	0.1569	0.6643	0.8224	0.0998	0.2604	0.3037	0.2307	0.7243	0.8562	0.1654	0.2209	0.3054	0.3865
21.0664	38.0	3800	27.3426	0.2304	0.4437	0.2159	0.1516	0.6568	0.8071	0.0986	0.2566	0.2993	0.227	0.7164	0.8451	0.1641	0.2198	0.2967	0.3788
21.0042	39.0	3900	27.7720	0.2315	0.4449	0.2182	0.1528	0.6611	0.8214	0.0994	0.2594	0.2994	0.2265	0.7191	0.8594	0.1604	0.2161	0.3026	0.3827
20.8548	40.0	4000	27.5494	0.2315	0.4495	0.2185	0.1535	0.6606	0.8161	0.0981	0.2576	0.3	0.2272	0.7189	0.8618	0.1626	0.2224	0.3003	0.3776