segformer-b2-cloth-parse-9開源服裝分割模型 - 精確識別分割服裝各部分

首頁

Segformer B2 Cloth Parse 9

由yolo12138開發

基於SegFormer架構的服裝分割模型，在cloth_parsing_mix數據集上微調，用於精確識別和分割服裝的不同部分。

圖像分割

Transformers

開源協議:MIT #服裝部件分割 #高精度語義分割 #時尚圖像解析

下載量 156

發布時間 : 12/15/2023

模型概述

該模型專門用於服裝圖像的分割任務，能夠識別並分割出服裝的各個組成部分，如袖子、褲腿、領子等。適用於時尚分析、虛擬試衣等場景。

模型特點

高精度服裝分割

在多個服裝部件上達到高準確率，特別是在上半身、褲腿和袖子等主要部件上表現優異。

多部件識別

能夠識別並分割多達11種不同的服裝部件，包括內外領、左右袖等細節部分。

高效訓練

使用相對較小的批次大小(12)和適中的學習率(1e-05)進行高效訓練，僅需5輪即可獲得良好效果。

模型能力

服裝圖像分割

多部件識別

像素級分類

使用案例

時尚科技

虛擬試衣系統

用於在線購物平臺的虛擬試衣功能，精確分割服裝部件以實現逼真的試穿效果。

服裝設計分析

幫助設計師分析服裝結構和部件比例，優化設計方案。

電子商務

商品圖像自動標註

自動為電商平臺的服裝商品圖像添加部件標籤，提升搜索和推薦準確性。

🚀 segformer-b2-cloth-parse-9

該模型是基於mattmdjaga/segformer_b2_clothes在cloth_parsing_mix數據集上微調得到的圖像分割模型，在評估集上取得了優異的成績。

🚀 快速開始

此模型主要用於圖像分割任務，可直接基於微調後的參數進行推理，以實現對衣物的分割識別。

✨ 主要特性

微調優化：基於mattmdjaga/segformer_b2_clothes模型在cloth_parsing_mix數據集上進行微調，更適配衣物解析任務。
高精度表現：在評估集上各項指標表現優秀，如損失值低至 0.0433，平均交併比（Mean Iou）達到 0.8611 等。

📦 安裝指南

文檔中未提及安裝步驟，可參考原模型mattmdjaga/segformer_b2_clothes的安裝說明以及相關依賴庫的安裝方式。

💻 使用示例

文檔中未提供代碼示例，可參考transformers庫中圖像分割模型的使用方法，結合本模型進行推理。

📚 詳細文檔

評估結果

該模型在評估集上的表現如下：

損失（Loss）：0.0433
平均交併比（Mean Iou）：0.8611
平均準確率（Mean Accuracy）：0.9107
整體準確率（Overall Accuracy）：0.9846
背景準確率（Accuracy Background）：0.9964
上半身準確率（Accuracy Upper Torso）：0.9857
左褲準確率（Accuracy Left Pants）：0.9654
右褲準確率（Accuracy Right Patns）：0.9664
裙子準確率（Accuracy Skirts）：0.9065
左袖準確率（Accuracy Left Sleeve）：0.9591
右袖準確率（Accuracy Right Sleeve）：0.9662
外領準確率（Accuracy Outer Collar）：0.6491
內領準確率（Accuracy Inner Collar）：0.8015
背景交併比（Iou Background）：0.9923
上半身交併比（Iou Upper Torso）：0.9655
左褲交併比（Iou Left Pants）：0.9017
右褲交併比（Iou Right Patns）：0.9085
裙子交併比（Iou Skirts）：0.8749
左袖交併比（Iou Left Sleeve）：0.9223
右袖交併比（Iou Right Sleeve）：0.9289
外領交併比（Iou Outer Collar）：0.5394
內領交併比（Iou Inner Collar）：0.7160

訓練過程

訓練超參數

訓練過程中使用的超參數如下：

屬性	詳情
學習率（learning_rate）	1e-05
訓練批次大小（train_batch_size）	12
評估批次大小（eval_batch_size）	12
隨機種子（seed）	42
優化器（optimizer）	Adam，betas=(0.9, 0.999)，epsilon=1e-08
學習率調度器類型（lr_scheduler_type）	linear
訓練輪數（num_epochs）	5

訓練結果

訓練過程中的各項指標變化如下：

訓練損失（Training Loss）	輪數（Epoch）	步數（Step）	驗證損失（Validation Loss）	平均交併比（Mean Iou）	平均準確率（Mean Accuracy）	整體準確率（Overall Accuracy）	背景準確率（Accuracy Background）	上半身準確率（Accuracy Upper Torso）	左褲準確率（Accuracy Left Pants）	右褲準確率（Accuracy Right Patns）	裙子準確率（Accuracy Skirts）	左袖準確率（Accuracy Left Sleeve）	右袖準確率（Accuracy Right Sleeve）	外領準確率（Accuracy Outer Collar）	內領準確率（Accuracy Inner Collar）	背景交併比（Iou Background）	上半身交併比（Iou Upper Torso）	左褲交併比（Iou Left Pants）	右褲交併比（Iou Right Patns）	裙子交併比（Iou Skirts）	左袖交併比（Iou Left Sleeve）	右袖交併比（Iou Right Sleeve）	外領交併比（Iou Outer Collar）	內領交併比（Iou Inner Collar）
0.1054	0.11	500	0.1180	0.7305	0.7971	0.9670	0.9902	0.9720	0.9654	0.9756	0.8036	0.9226	0.9289	0.0716	0.5444	0.9830	0.9234	0.8752	0.8765	0.7370	0.8236	0.8232	0.0703	0.4628
0.1033	0.22	1000	0.0851	0.7862	0.8418	0.9746	0.9924	0.9829	0.9665	0.9653	0.8491	0.9145	0.9226	0.3219	0.6608	0.9866	0.9424	0.8858	0.8875	0.8105	0.8538	0.8614	0.2833	0.5642
0.0944	0.32	1500	0.0713	0.8077	0.8595	0.9773	0.9941	0.9833	0.9566	0.9625	0.8924	0.9094	0.9181	0.4414	0.6774	0.9880	0.9481	0.8937	0.8950	0.8437	0.8668	0.8751	0.3629	0.5958
0.0746	0.43	2000	0.0683	0.8190	0.8770	0.9783	0.9941	0.9796	0.9652	0.9722	0.8656	0.9480	0.9562	0.4882	0.7236	0.9888	0.9497	0.9070	0.9127	0.8306	0.8790	0.8870	0.3945	0.6218
0.0548	0.54	2500	0.0666	0.8187	0.8713	0.9787	0.9951	0.9831	0.9580	0.9606	0.8651	0.9215	0.9453	0.4839	0.7293	0.9893	0.9514	0.8939	0.9006	0.8245	0.8812	0.8964	0.4010	0.6298
0.0728	0.65	3000	0.0591	0.8271	0.8806	0.9804	0.9945	0.9839	0.9624	0.9659	0.8982	0.9399	0.9430	0.4884	0.7493	0.9900	0.9551	0.8940	0.8966	0.8583	0.8930	0.9011	0.4100	0.6458
0.0505	0.75	3500	0.0648	0.8218	0.8745	0.9797	0.9947	0.9847	0.9858	0.9905	0.8402	0.9500	0.9587	0.4480	0.7178	0.9900	0.9534	0.9022	0.9037	0.8223	0.8944	0.9017	0.3881	0.6402
0.0601	0.86	4000	0.0568	0.8415	0.8951	0.9817	0.9952	0.9817	0.9632	0.9640	0.9170	0.9521	0.9541	0.5781	0.7508	0.9903	0.9576	0.9138	0.9199	0.8716	0.9010	0.9106	0.4562	0.6529
0.0438	0.97	4500	0.0569	0.8431	0.8925	0.9815	0.9947	0.9844	0.9764	0.9838	0.8870	0.9492	0.9595	0.5561	0.7416	0.9903	0.9560	0.9287	0.9370	0.8585	0.9000	0.9089	0.4524	0.6559
0.0617	1.08	5000	0.0529	0.8417	0.8933	0.9816	0.9952	0.9841	0.9602	0.9631	0.8922	0.9475	0.9533	0.5797	0.7642	0.9907	0.9571	0.9097	0.9126	0.8488	0.9044	0.9158	0.4687	0.6678
0.0452	1.19	5500	0.0557	0.8351	0.8935	0.9812	0.9949	0.9842	0.9644	0.9667	0.8781	0.9494	0.9604	0.5961	0.7471	0.9906	0.9588	0.8803	0.8885	0.8349	0.9069	0.9169	0.4743	0.6645
0.0571	1.29	6000	0.0551	0.8351	0.8934	0.9810	0.9957	0.9831	0.9652	0.9693	0.8562	0.9593	0.9569	0.5959	0.7586	0.9910	0.9579	0.8842	0.8879	0.8188	0.9084	0.9155	0.4774	0.6749
0.0778	1.4	6500	0.0537	0.8430	0.8994	0.9818	0.9948	0.9839	0.9872	0.9921	0.8702	0.9587	0.9635	0.5790	0.7656	0.9911	0.9579	0.9044	0.9093	0.8458	0.9060	0.9157	0.4760	0.6808
0.0392	1.51	7000	0.0491	0.8503	0.9069	0.9830	0.9954	0.9823	0.9645	0.9666	0.9205	0.9534	0.9599	0.6214	0.7984	0.9916	0.9607	0.9123	0.9139	0.8755	0.9072	0.9180	0.4907	0.6830
0.0376	1.62	7500	0.0514	0.8442	0.9010	0.9819	0.9954	0.9832	0.9652	0.9660	0.8850	0.9525	0.9598	0.6257	0.7762	0.9914	0.9586	0.8944	0.9053	0.8355	0.9104	0.9215	0.4965	0.6838
0.0391	1.73	8000	0.0492	0.8422	0.8993	0.9819	0.9958	0.9836	0.9641	0.9671	0.8692	0.9561	0.9661	0.6159	0.7756	0.9916	0.9596	0.8882	0.8930	0.8338	0.9103	0.9189	0.4982	0.6860
0.0446	1.83	8500	0.0491	0.8515	0.9079	0.9829	0.9960	0.9836	0.9890	0.9913	0.8770	0.9505	0.9631	0.6458	0.7751	0.9916	0.9603	0.9114	0.9161	0.8559	0.9100	0.9217	0.5096	0.6867
0.041	1.94	9000	0.0482	0.8464	0.8978	0.9825	0.9958	0.9848	0.9619	0.9668	0.8822	0.9569	0.9659	0.5961	0.7703	0.9916	0.9602	0.8958	0.9018	0.8438	0.9148	0.9231	0.4966	0.6899
0.0744	2.05	9500	0.0474	0.8523	0.9018	0.9834	0.9961	0.9840	0.9598	0.9633	0.9195	0.9471	0.9644	0.6055	0.7766	0.9919	0.9619	0.9095	0.9125	0.8697	0.9113	0.9238	0.5010	0.6889
0.0433	2.16	10000	0.0471	0.8581	0.9103	0.9842	0.9951	0.9843	0.9617	0.9646	0.9416	0.9549	0.9718	0.6305	0.7879	0.9915	0.9644	0.9100	0.9155	0.8976	0.9145	0.9245	0.5127	0.6920
0.0412	2.26	10500	0.0468	0.8574	0.9042	0.9835	0.9956	0.9848	0.9628	0.9669	0.9023	0.9615	0.9677	0.6115	0.7847	0.9918	0.9601	0.9248	0.9286	0.8656	0.9177	0.9245	0.5073	0.6964
0.0489	2.37	11000	0.0496	0.8511	0.9029	0.9832	0.9956	0.9858	0.9905	0.9948	0.8694	0.9574	0.9654	0.5748	0.7926	0.9921	0.9604	0.9066	0.9086	0.8615	0.9167	0.9228	0.4913	0.7004
0.0388	2.48	11500	0.0450	0.8594	0.9036	0.9849	0.9957	0.9857	0.9621	0.9648	0.9620	0.9493	0.9604	0.5733	0.7793	0.9922	0.9649	0.9155	0.9205	0.9076	0.9138	0.9257	0.4941	0.7002
0.0409	2.59	12000	0.0493	0.8579	0.9124	0.9844	0.9955	0.9853	0.9928	0.9929	0.9083	0.9573	0.9671	0.6288	0.7832	0.9921	0.9651	0.9046	0.9086	0.8842	0.9196	0.9267	0.5175	0.7026
0.0477	2.7	12500	0.0436	0.8610	0.9051	0.9848	0.9957	0.9868	0.9639	0.9675	0.9478	0.9445	0.9590	0.5972	0.7831	0.9919	0.9654	0.9187	0.9251	0.9029	0.9126	0.9253	0.5035	0.7034
0.0488	2.8	13000	0.0450	0.8577	0.9076	0.9842	0.9963	0.9848	0.9712	0.9695	0.9132	0.9493	0.9621	0.6188	0.8026	0.9924	0.9635	0.9095	0.9124	0.8742	0.9172	0.9276	0.5157	0.7065
0.0879	2.91	13500	0.0516	0.8453	0.8949	0.9819	0.9960	0.9867	0.9631	0.9665	0.8325	0.9618	0.9678	0.6033	0.7763	0.9919	0.9574	0.8955	0.9007	0.8088	0.9206	0.9245	0.5069	0.7013
0.0525	3.02	14000	0.0474	0.8521	0.9053	0.9830	0.9959	0.9849	0.9850	0.9925	0.8703	0.9481	0.9597	0.6076	0.8038	0.9923	0.9600	0.9050	0.9099	0.8420	0.9143	0.9263	0.5148	0.7044
0.0455	3.13	14500	0.0435	0.8579	0.9111	0.9842	0.9953	0.9852	0.9646	0.9672	0.9255	0.9569	0.9654	0.6514	0.7888	0.9923	0.9642	0.8971	0.9055	0.8780	0.9182	0.9284	0.5327	0.7046
0.0454	3.24	15000	0.0451	0.8599	0.9161	0.9844	0.9953	0.9858	0.9895	0.9907	0.8944	0.9635	0.9692	0.6643	0.7925	0.9924	0.9645	0.9061	0.9107	0.8803	0.9202	0.9236	0.5356	0.7058
0.0687	3.34	15500	0.0496	0.8482	0.9017	0.9827	0.9959	0.9869	0.9715	0.9676	0.8483	0.9616	0.9672	0.6235	0.7932	0.9922	0.9614	0.8904	0.8909	0.8269	0.9187	0.9218	0.5249	0.7069
0.0555	3.45	16000	0.0445	0.8568	0.9081	0.9838	0.9964	0.9858	0.9649	0.9681	0.8880	0.9585	0.9610	0.6510	0.7995	0.9922	0.9635	0.8996	0.9073	0.8582	0.9230	0.9257	0.5328	0.7093
0.0528	3.56	16500	0.0477	0.8549	0.9053	0.9833	0.9958	0.9875	0.9668	0.9677	0.8740	0.9512	0.9631	0.6512	0.7902	0.9920	0.9618	0.9021	0.9036	0.8486	0.9185	0.9254	0.5348	0.7070
0.043	3.67	17000	0.0439	0.8633	0.9173	0.9849	0.9960	0.9851	0.9860	0.9893	0.9114	0.9555	0.9656	0.6623	0.8046	0.9921	0.9666	0.9083	0.9158	0.8910	0.9197	0.9262	0.5391	0.7111
0.0372	3.77	17500	0.0474	0.8555	0.9039	0.9836	0.9959	0.9876	0.9626	0.9647	0.8818	0.9556	0.9623	0.6393	0.7858	0.9921	0.9623	0.8999	0.9065	0.8526	0.9218	0.9264	0.5299	0.7082
0.0614	3.88	18000	0.0463	0.8564	0.9088	0.9839	0.9959	0.9853	0.9644	0.9662	0.9035	0.9569	0.9638	0.6413	0.8025	0.9921	0.9643	0.8967	0.9020	0.8607	0.9202	0.9276	0.5330	0.7111
0.0413	3.99	18500	0.0453	0.8579	0.9123	0.9841	0.9963	0.9848	0.9794	0.9828	0.8865	0.9613	0.9695	0.6526	0.7977	0.9922	0.9648	0.8991	0.9047	0.8629	0.9221	0.9274	0.5369	0.7112
0.0386	4.1	19000	0.0438	0.8578	0.9109	0.9842	0.9959	0.9844	0.9649	0.9667	0.9154	0.9580	0.9662	0.6408	0.8062	0.9924	0.9644	0.8973	0.9025	0.8683	0.9196	0.9279	0.5340	0.7134
0.0541	4.21	19500	0.0443	0.8577	0.9118	0.9840	0.9957	0.9847	0.9829	0.9872	0.8935	0.9594	0.9686	0.6265	0.8077	0.9921	0.9641	0.9017	0.9079	0.8621	0.9203	0.9277	0.5298	0.7133
0.0409	4.31	20000	0.0433	0.8560	0.9083	0.9840	0.9959	0.9860	0.9670	0.9687	0.9020	0.9578	0.9632	0.6421	0.7918	0.9922	0.9652	0.8921	0.8966	0.8633	0.9206	0.9278	0.5349	0.7117
0.0398	4.42	20500	0.0451	0.8581	0.9102	0.9840	0.9960	0.9859	0.9687	0.9685	0.8885	0.9597	0.9684	0.6554	0.8004	0.9922	0.9638	0.9000	0.9042	0.8595	0.9232	0.9266	0.5395	0.7144
0.038	4.53	21000	0.0464	0.8608	0.9123	0.9843	0.9959	0.9866	0.9885	0.9907	0.8739	0.9616	0.9678	0.6398	0.8056	0.9921	0.9639	0.9088	0.9160	0.8657	0.9238	0.9273	0.5347	0.7150
0.0295	4.64	21500	0.0433	0.8596	0.9094	0.9840	0.9960	0.9864	0.9641	0.9664	0.8985	0.9535	0.9582	0.6581	0.8033	0.9922	0.9633	0.9056	0.9102	0.8619	0.9195	0.9276	0.5408	0.7151
0.0318	4.75	22000	0.0439	0.8600	0.9127	0.9842	0.9964	0.9848	0.9665	0.9676	0.8929	0.9627	0.9689	0.6656	0.8089	0.9923	0.9643	0.9007	0.9080	0.8645	0.9223	0.9283	0.5444	0.7156
0.0377	4.85	22500	0.0429	0.8619	0.9125	0.9846	0.9963	0.9849	0.9633	0.9666	0.9115	0.9609	0.9689	0.6527	0.8069	0.9923	0.9654	0.9052	0.9104	0.8762	0.9217	0.9288	0.5407	0.7166
0.0419	4.96	23000	0.0433	0.8611	0.9107	0.9846	0.9964	0.9857	0.9654	0.9664	0.9065	0.9591	0.9662	0.6491	0.8015	0.9923	0.9655	0.9017	0.9085	0.8749	0.9223	0.9289	0.5394	0.7160

框架版本

該模型使用的框架版本如下：

屬性	詳情
Transformers	4.35.2
Pytorch	2.1.1
Datasets	2.15.0
Tokenizers	0.15.0

🔧 技術細節

此模型基於segformer_b2架構，在cloth_parsing_mix數據集上進行微調。通過調整超參數，如學習率、批次大小等，不斷優化模型性能，使其在衣物分割任務上取得了良好的效果。訓練過程中使用了 Adam 優化器和線性學習率調度器，經過 5 個輪次的訓練，模型逐漸收斂，各項指標不斷提升。