Segformer B5 Finetuned Human Parsing
模型简介
该模型是SegFormer架构的变体,专门用于人体部位和服装的语义分割任务。能够准确识别帽子、上衣、裤子等20类人体相关元素,适用于虚拟试衣、行为分析等场景。
模型特点
精细部位分割
支持20类人体部位和服饰的精确分割,包括眼镜、围巾等小物件
高精度表现
在面部、头发等关键区域达到90%以上的准确率
轻量级微调
基于预训练模型进行高效微调,适应特定人体解析任务
模型能力
人体部位识别
服装分类
像素级分割
多类别标注
使用案例
时尚科技
虚拟试衣系统
精确分割服装区域实现虚拟换装效果
上衣/裤子分割准确率达85%以上
服装电商搜索
通过服装特征分析提升搜索精准度
人机交互
动作捕捉预处理
为动作识别提供精确的身体部位定位
🚀 segformer-b5-finetuned-human-parsing
该模型是基于 nvidia/mit-b5 在未知数据集上进行微调的版本,可用于图像分割任务,在人体解析方面表现出色。
🚀 快速开始
此模型是 nvidia/mit-b5 在未知数据集上的微调版本。它在评估集上取得了以下结果:
- 损失值:0.2292
- 平均交并比(Mean Iou):0.6258
- 平均准确率(Mean Accuracy):0.7547
- 整体准确率(Overall Accuracy):0.8256
- 背景准确率(Accuracy Background):nan
- 帽子准确率(Accuracy Hat):0.8561
- 头发准确率(Accuracy Hair):0.8974
- 太阳镜准确率(Accuracy Sunglasses):0.7540
- 上衣准确率(Accuracy Upper - clothes):0.8553
- 裙子准确率(Accuracy Skirt):0.7026
- 裤子准确率(Accuracy Pants):0.8913
- 连衣裙准确率(Accuracy Dress):0.7525
- 腰带准确率(Accuracy Belt):0.4251
- 左脚鞋准确率(Accuracy Left - shoe):0.6014
- 右脚鞋准确率(Accuracy Right - shoe):0.6374
- 脸部准确率(Accuracy Face):0.9094
- 左腿准确率(Accuracy Left - leg):0.8452
- 右腿准确率(Accuracy Right - leg):0.8343
- 左臂准确率(Accuracy Left - arm):0.8506
- 右臂准确率(Accuracy Right - arm):0.8287
- 包包准确率(Accuracy Bag):0.8232
- 围巾准确率(Accuracy Scarf):0.3662
- 背景交并比(Iou Background):0.0
- 帽子交并比(Iou Hat):0.7625
- 头发交并比(Iou Hair):0.8171
- 太阳镜交并比(Iou Sunglasses):0.6400
- 上衣交并比(Iou Upper - clothes):0.7700
- 裙子交并比(Iou Skirt):0.6211
- 裤子交并比(Iou Pants):0.7788
- 连衣裙交并比(Iou Dress):0.5512
- 腰带交并比(Iou Belt):0.3564
- 左脚鞋交并比(Iou Left - shoe):0.5032
- 右脚鞋交并比(Iou Right - shoe):0.5381
- 脸部交并比(Iou Face):0.8294
- 左腿交并比(Iou Left - leg):0.7412
- 右腿交并比(Iou Right - leg):0.7591
- 左臂交并比(Iou Left - arm):0.7579
- 右臂交并比(Iou Right - arm):0.7705
- 包包交并比(Iou Bag):0.7729
- 围巾交并比(Iou Scarf):0.2956
🔧 技术细节
训练超参数
训练过程中使用了以下超参数:
- 学习率(learning_rate):6e - 05
- 训练批次大小(train_batch_size):2
- 评估批次大小(eval_batch_size):2
- 随机种子(seed):42
- 优化器(optimizer):Adam,其中 betas=(0.9, 0.999),epsilon = 1e - 08
- 学习率调度器类型(lr_scheduler_type):线性
- 训练轮数(num_epochs):15
训练结果
训练损失 | 轮数 | 步数 | 验证损失 | 平均交并比 | 平均准确率 | 整体准确率 | 背景准确率 | 帽子准确率 | 头发准确率 | 太阳镜准确率 | 上衣准确率 | 裙子准确率 | 裤子准确率 | 连衣裙准确率 | 腰带准确率 | 左脚鞋准确率 | 右脚鞋准确率 | 脸部准确率 | 左腿准确率 | 右腿准确率 | 左臂准确率 | 右臂准确率 | 包包准确率 | 围巾准确率 | 背景交并比 | 帽子交并比 | 头发交并比 | 太阳镜交并比 | 上衣交并比 | 裙子交并比 | 裤子交并比 | 连衣裙交并比 | 腰带交并比 | 左脚鞋交并比 | 右脚鞋交并比 | 脸部交并比 | 左腿交并比 | 右腿交并比 | 左臂交并比 | 右臂交并比 | 包包交并比 | 围巾交并比 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1.1597 | 0.04 | 20 | 1.5815 | 0.1179 | 0.1991 | 0.4296 | nan | 0.0060 | 0.6905 | 0.0 | 0.7657 | 0.0108 | 0.6431 | 0.2946 | 0.0 | 0.0288 | 0.0366 | 0.1480 | 0.0025 | 0.5692 | 0.0096 | 0.0259 | 0.1537 | 0.0 | 0.0 | 0.0051 | 0.4253 | 0.0 | 0.5199 | 0.0103 | 0.3388 | 0.1700 | 0.0 | 0.0258 | 0.0338 | 0.0895 | 0.0025 | 0.3162 | 0.0094 | 0.0253 | 0.1495 | 0.0 |
0.6963 | 0.08 | 40 | 0.8073 | 0.1759 | 0.2719 | 0.4628 | nan | 0.0015 | 0.8699 | 0.0 | 0.4736 | 0.4932 | 0.5141 | 0.6775 | 0.0 | 0.0062 | 0.1038 | 0.5301 | 0.0916 | 0.5071 | 0.0092 | 0.0549 | 0.2889 | 0.0 | 0.0 | 0.0015 | 0.6169 | 0.0 | 0.4242 | 0.2202 | 0.3522 | 0.2251 | 0.0 | 0.0062 | 0.0904 | 0.4914 | 0.0852 | 0.3160 | 0.0092 | 0.0541 | 0.2731 | 0.0 |
0.5786 | 0.12 | 60 | 0.6136 | 0.2538 | 0.3642 | 0.4679 | nan | 0.0180 | 0.8122 | 0.0 | 0.1998 | 0.0000 | 0.6621 | 0.8592 | 0.0 | 0.1440 | 0.2772 | 0.8381 | 0.4032 | 0.6068 | 0.4182 | 0.3097 | 0.6434 | 0.0 | 0.0 | 0.0179 | 0.6760 | 0.0 | 0.1951 | 0.0000 | 0.5471 | 0.2218 | 0.0 | 0.1147 | 0.2032 | 0.6403 | 0.3189 | 0.4204 | 0.3505 | 0.2947 | 0.5676 | 0.0 |
0.324 | 0.16 | 80 | 0.4282 | 0.2893 | 0.4044 | 0.6041 | nan | 0.0147 | 0.7890 | 0.0 | 0.8222 | 0.7984 | 0.6646 | 0.1038 | 0.0 | 0.0896 | 0.3308 | 0.8277 | 0.4099 | 0.6839 | 0.2401 | 0.5474 | 0.5521 | 0.0 | 0.0 | 0.0147 | 0.6800 | 0.0 | 0.6159 | 0.3049 | 0.5913 | 0.0938 | 0.0 | 0.0802 | 0.2394 | 0.6598 | 0.3178 | 0.4504 | 0.2288 | 0.4189 | 0.5113 | 0.0 |
0.297 | 0.2 | 100 | 0.4020 | 0.3034 | 0.4230 | 0.6332 | nan | 0.0048 | 0.8076 | 0.0080 | 0.9042 | 0.6567 | 0.8036 | 0.0317 | 0.0 | 0.0481 | 0.5298 | 0.7728 | 0.2589 | 0.7232 | 0.5941 | 0.3839 | 0.6643 | 0.0 | 0.0 | 0.0048 | 0.6708 | 0.0080 | 0.6300 | 0.3836 | 0.5929 | 0.0314 | 0.0 | 0.0441 | 0.3152 | 0.6726 | 0.2420 | 0.4745 | 0.4532 | 0.3631 | 0.5759 | 0.0 |
0.2608 | 0.24 | 120 | 0.3538 | 0.3444 | 0.4554 | 0.6504 | nan | 0.2922 | 0.8078 | 0.0753 | 0.8472 | 0.0425 | 0.6961 | 0.6197 | 0.0 | 0.2550 | 0.3074 | 0.8020 | 0.5636 | 0.6895 | 0.3779 | 0.6930 | 0.6734 | 0.0 | 0.0 | 0.2757 | 0.6940 | 0.0747 | 0.6457 | 0.0419 | 0.6098 | 0.3611 | 0.0 | 0.1849 | 0.2412 | 0.7038 | 0.4513 | 0.5038 | 0.3439 | 0.4760 | 0.5915 | 0.0 |
0.3306 | 0.28 | 140 | 0.3281 | 0.3562 | 0.4736 | 0.6560 | nan | 0.4111 | 0.8576 | 0.1953 | 0.8081 | 0.6916 | 0.7888 | 0.3489 | 0.0 | 0.0809 | 0.3612 | 0.8132 | 0.0622 | 0.7078 | 0.6328 | 0.5437 | 0.7482 | 0.0 | 0.0 | 0.3895 | 0.7227 | 0.1857 | 0.6777 | 0.3750 | 0.6015 | 0.2749 | 0.0 | 0.0740 | 0.2602 | 0.7070 | 0.0612 | 0.4348 | 0.5114 | 0.4966 | 0.6385 | 0.0 |
0.364 | 0.32 | 160 | 0.3368 | 0.3689 | 0.4836 | 0.6531 | nan | 0.3898 | 0.8453 | 0.1743 | 0.9269 | 0.2493 | 0.7922 | 0.0842 | 0.0 | 0.4874 | 0.2384 | 0.8116 | 0.6226 | 0.5731 | 0.6049 | 0.6620 | 0.7597 | 0.0 | 0.0 | 0.3746 | 0.7246 | 0.1690 | 0.6015 | 0.1998 | 0.5942 | 0.0786 | 0.0 | 0.2682 | 0.1904 | 0.7015 | 0.4781 | 0.4781 | 0.5452 | 0.5804 | 0.6562 | 0.0 |
0.635 | 0.36 | 180 | 0.3092 | 0.3699 | 0.4903 | 0.6319 | nan | 0.4996 | 0.8387 | 0.2136 | 0.6184 | 0.0129 | 0.7920 | 0.8199 | 0.0 | 0.1895 | 0.3028 | 0.8307 | 0.7258 | 0.3386 | 0.7480 | 0.6543 | 0.7511 | 0.0 | 0.0 | 0.4613 | 0.7126 | 0.2042 | 0.5589 | 0.0128 | 0.6658 | 0.3529 | 0.0 | 0.1622 | 0.2426 | 0.7363 | 0.4646 | 0.3144 | 0.5794 | 0.5575 | 0.6321 | 0.0 |
0.1464 | 0.4 | 200 | 0.3306 | 0.3809 | 0.5041 | 0.6544 | nan | 0.6110 | 0.8337 | 0.2420 | 0.8913 | 0.8862 | 0.6492 | 0.0004 | 0.0 | 0.2888 | 0.2949 | 0.8514 | 0.4630 | 0.7751 | 0.7020 | 0.5429 | 0.5386 | 0.0 | 0.0 | 0.5329 | 0.7348 | 0.2331 | 0.6567 | 0.3661 | 0.5769 | 0.0004 | 0.0 | 0.2221 | 0.2333 | 0.7431 | 0.4133 | 0.5478 | 0.5718 | 0.5125 | 0.5107 | 0.0 |
0.2257 | 0.44 | 220 | 0.2751 | 0.4089 | 0.5400 | 0.6752 | nan | 0.6851 | 0.8458 | 0.4204 | 0.7241 | 0.1085 | 0.7997 | 0.7657 | 0.0 | 0.2458 | 0.4039 | 0.8858 | 0.7863 | 0.3199 | 0.7405 | 0.6974 | 0.7508 | 0.0 | 0.0 | 0.5815 | 0.7437 | 0.3776 | 0.6458 | 0.1033 | 0.6526 | 0.3966 | 0.0 | 0.2027 | 0.3078 | 0.7438 | 0.4680 | 0.2966 | 0.6204 | 0.5942 | 0.6260 | 0.0 |
0.3069 | 0.48 | 240 | 0.2614 | 0.4163 | 0.5499 | 0.6868 | nan | 0.6246 | 0.8571 | 0.3130 | 0.7765 | 0.8266 | 0.7786 | 0.3212 | 0.0 | 0.3560 | 0.3736 | 0.8579 | 0.1780 | 0.8761 | 0.7423 | 0.7693 | 0.6970 | 0.0 | 0.0 | 0.5597 | 0.7370 | 0.2931 | 0.6733 | 0.4032 | 0.6889 | 0.2487 | 0.0 | 0.2662 | 0.2901 | 0.7425 | 0.1724 | 0.4957 | 0.6373 | 0.6376 | 0.6470 | 0.0 |
0.1454 | 0.52 | 260 | 0.2563 | 0.4316 | 0.5610 | 0.6965 | nan | 0.6707 | 0.8388 | 0.5572 | 0.7616 | 0.3854 | 0.7280 | 0.7114 | 0.0 | 0.1934 | 0.3621 | 0.8718 | 0.7860 | 0.6140 | 0.7403 | 0.5340 | 0.7820 | 0.0 | 0.0 | 0.5710 | 0.7446 | 0.4497 | 0.6637 | 0.3125 | 0.6624 | 0.4219 | 0.0 | 0.1731 | 0.2862 | 0.7295 | 0.5339 | 0.5054 | 0.5742 | 0.4967 | 0.6449 | 0.0 |
0.1522 | 0.56 | 280 | 0.2521 | 0.4327 | 0.5567 | 0.7138 | nan | 0.5098 | 0.9135 | 0.3399 | 0.8898 | 0.5537 | 0.7508 | 0.2922 | 0.0 | 0.3367 | 0.2484 | 0.8388 | 0.7460 | 0.7191 | 0.7496 | 0.7996 | 0.7753 | 0.0 | 0.0 | 0.4902 | 0.7541 | 0.3196 | 0.6924 | 0.3853 | 0.6261 | 0.2512 | 0.0 | 0.2575 | 0.2171 | 0.7393 | 0.5563 | 0.5633 | 0.6403 | 0.6335 | 0.6621 | 0.0 |
0.1872 | 0.6 | 300 | 0.2359 | 0.4557 | 0.5797 | 0.7247 | nan | 0.6901 | 0.8832 | 0.5498 | 0.8857 | 0.6636 | 0.7843 | 0.3983 | 0.0 | 0.4549 | 0.2292 | 0.8147 | 0.7126 | 0.6223 | 0.7467 | 0.7014 | 0.7185 | 0.0 | 0.0 | 0.5881 | 0.7556 | 0.4621 | 0.7131 | 0.4264 | 0.6506 | 0.3311 | 0.0 | 0.3025 | 0.1975 | 0.7350 | 0.5635 | 0.5513 | 0.6505 | 0.6318 | 0.6439 | 0.0 |
0.2512 | 0.64 | 320 | 0.2601 | 0.4363 | 0.5599 | 0.6801 | nan | 0.6470 | 0.8482 | 0.3819 | 0.6317 | 0.2525 | 0.7437 | 0.8755 | 0.0 | 0.1737 | 0.5412 | 0.8907 | 0.5915 | 0.7943 | 0.7177 | 0.7437 | 0.6852 | 0.0 | 0.0 | 0.5580 | 0.7612 | 0.3645 | 0.5718 | 0.2362 | 0.6671 | 0.3836 | 0.0 | 0.1621 | 0.3641 | 0.7486 | 0.5132 | 0.5865 | 0.6472 | 0.6479 | 0.6409 | 0.0 |
0.6521 | 0.68 | 340 | 0.2286 | 0.4716 | 0.6024 | 0.7351 | nan | 0.6559 | 0.8492 | 0.3976 | 0.7517 | 0.5818 | 0.7622 | 0.7422 | 0.0 | 0.5277 | 0.2673 | 0.9098 | 0.7514 | 0.6903 | 0.7853 | 0.7795 | 0.7896 | 0.0 | 0.0 | 0.5839 | 0.7531 | 0.3761 | 0.6829 | 0.4643 | 0.6722 | 0.4762 | 0.0 | 0.3375 | 0.2261 | 0.7551 | 0.5838 | 0.5730 | 0.6548 | 0.6501 | 0.6987 | 0.0 |
0.1734 | 0.72 | 360 | 0.2511 | 0.4464 | 0.5731 | 0.7074 | nan | 0.6326 | 0.8339 | 0.5953 | 0.8987 | 0.8731 | 0.7575 | 0.1617 | 0.0 | 0.2314 | 0.5741 | 0.8497 | 0.6140 | 0.6973 | 0.5250 | 0.7576 | 0.7406 | 0.0 | 0.0 | 0.5777 | 0.7535 | 0.4840 | 0.6597 | 0.5208 | 0.6261 | 0.1507 | 0.0 | 0.2110 | 0.3920 | 0.7579 | 0.5436 | 0.5825 | 0.4959 | 0.6090 | 0.6702 | 0.0 |
0.1596 | 0.76 | 380 | 0.2303 | 0.4702 | 0.5922 | 0.7351 | nan | 0.6336 | 0.8772 | 0.4196 | 0.8004 | 0.4307 | 0.7034 | 0.7554 | 0.0 | 0.2914 | 0.4563 | 0.8930 | 0.7517 | 0.7146 | 0.7649 | 0.7420 | 0.8336 | 0.0 | 0.0 | 0.5854 | 0.7635 | 0.3937 | 0.6838 | 0.3957 | 0.6295 | 0.4857 | 0.0 | 0.2497 | 0.3439 | 0.7526 | 0.6021 | 0.6055 | 0.6591 | 0.6473 | 0.6657 | 0.0 |
0.1359 | 0.8 | 400 | 0.2332 | 0.4592 | 0.5773 | 0.7182 | nan | 0.6759 | 0.8564 | 0.5305 | 0.8221 | 0.4710 | 0.8463 | 0.5733 | 0.0 | 0.2630 | 0.5031 | 0.8314 | 0.7079 | 0.7295 | 0.7449 | 0.7233 | 0.5357 | 0.0 | 0.0 | 0.6046 | 0.7593 | 0.4670 | 0.7005 | 0.3678 | 0.5672 | 0.4327 | 0.0 | 0.2265 | 0.3566 | 0.7593 | 0.5975 | 0.6161 | 0.6456 | 0.6470 | 0.5178 | 0.0 |
0.2014 | 0.84 | 420 | 0.2298 | 0.4709 | 0.5957 | 0.7268 | nan | 0.6207 | 0.8571 | 0.5146 | 0.7670 | 0.6367 | 0.6238 | 0.7682 | 0.0 | 0.2470 | 0.4863 | 0.8939 | 0.5487 | 0.8665 | 0.7735 | 0.7827 | 0.7405 | 0.0 | 0.0 | 0.5729 | 0.7737 | 0.4637 | 0.6774 | 0.4588 | 0.5840 | 0.4656 | 0.0 | 0.2219 | 0.3668 | 0.7764 | 0.5020 | 0.5959 | 0.6641 | 0.6698 | 0.6833 | 0.0 |
0.137 | 0.88 | 440 | 0.2260 | 0.4824 | 0.6147 | 0.7401 | nan | 0.7197 | 0.8823 | 0.6023 | 0.8544 | 0.9048 | 0.7837 | 0.3094 | 0.0245 | 0.2877 | 0.4592 | 0.8905 | 0.6846 | 0.8472 | 0.7109 | 0.7647 | 0.7230 | 0.0 | 0.0 | 0.6089 | 0.7638 | 0.5071 | 0.7154 | 0.5084 | 0.6749 | 0.2801 | 0.0227 | 0.2486 | 0.3499 | 0.7679 | 0.6127 | 0.6436 | 0.6445 | 0.6729 | 0.6626 | 0.0 |
0.2494 | 0.92 | 460 | 0.2275 | 0.4721 | 0.5997 | 0.7321 | nan | 0.6265 | 0.8452 | 0.6870 | 0.8116 | 0.4266 | 0.8250 | 0.7026 | 0.0498 | 0.5651 | 0.1855 | 0.8745 | 0.7293 | 0.6387 | 0.6783 | 0.8080 | 0.7416 | 0.0 | 0.0 | 0.5764 | 0.7653 | 0.5312 | 0.7021 | 0.3635 | 0.6488 | 0.4468 | 0.0475 | 0.3420 | 0.1695 | 0.7764 | 0.5981 | 0.5821 | 0.6149 | 0.6599 | 0.6740 | 0.0 |
0.2788 | 0.96 | 480 | 0.2315 | 0.4670 | 0.5977 | 0.7292 | nan | 0.7105 | 0.8142 | 0.4169 | 0.8597 | 0.8573 | 0.7707 | 0.3171 | 0.0476 | 0.2514 | 0.4432 | 0.9214 | 0.7332 | 0.6989 | 0.8245 | 0.6729 | 0.7954 | 0.0255 | 0.0 | 0.6051 | 0.7556 | 0.3986 | 0.7114 | 0.4588 | 0.6423 | 0.2727 | 0.0438 | 0.2215 | 0.3468 | 0.7650 | 0.6030 | 0.6007 | 0.6432 | 0.6180 | 0.6945 | 0.0253 |
0.1254 | 1.0 | 500 | 0.2176 | 0.4955 | 0.6287 | 0.7450 | nan | 0.7081 | 0.9094 |
📄 许可证
该项目使用其他许可证。
Clipseg Rd64 Refined
Apache-2.0
CLIPSeg是一种基于文本与图像提示的图像分割模型,支持零样本和单样本图像分割任务。
图像分割
Transformers

C
CIDAS
10.0M
122
RMBG 1.4
其他
BRIA RMBG v1.4 是一款先进的背景移除模型,专为高效分离各类图像的前景与背景而设计,适用于非商业用途。
图像分割
Transformers

R
briaai
874.12k
1,771
RMBG 2.0
其他
BRIA AI开发的最新背景移除模型,能有效分离各类图像的前景与背景,适合大规模商业内容创作场景。
图像分割
Transformers

R
briaai
703.33k
741
Segformer B2 Clothes
MIT
基于ATR数据集微调的SegFormer模型,用于服装和人体分割
图像分割
Transformers

S
mattmdjaga
666.39k
410
Sam Vit Base
Apache-2.0
SAM是一个能够通过输入提示(如点或框)生成高质量对象掩码的视觉模型,支持零样本分割任务
图像分割
Transformers 其他

S
facebook
635.09k
137
Birefnet
MIT
BiRefNet是一个用于高分辨率二分图像分割的深度学习模型,通过双边参考网络实现精确的图像分割。
图像分割
Transformers

B
ZhengPeng7
626.54k
365
Segformer B1 Finetuned Ade 512 512
其他
SegFormer是一种基于Transformer的语义分割模型,在ADE20K数据集上进行了微调,适用于图像分割任务。
图像分割
Transformers

S
nvidia
560.79k
6
Sam Vit Large
Apache-2.0
SAM是一个能够通过输入提示点或边界框生成高质量物体掩膜的视觉模型,具备零样本迁移能力。
图像分割
Transformers 其他

S
facebook
455.43k
28
Face Parsing
基于nvidia/mit-b5微调的语义分割模型,用于面部解析任务
图像分割
Transformers 英语

F
jonathandinu
398.59k
157
Sam Vit Huge
Apache-2.0
SAM是一个能够根据输入提示生成高质量对象掩码的视觉模型,支持零样本迁移到新任务
图像分割
Transformers 其他

S
facebook
324.78k
163
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98