Segformer B2 Human Parse 24
模型概述
這是一個基於SegFormer-b2架構的圖像分割模型,專門用於人體部位和服裝的精細分割。模型在human_parsing_29_mix數據集上進行了微調,能夠識別24種不同的人體部位和服裝類別。
模型特點
精細人體部位分割
能夠識別24種不同的人體部位和服裝類別,包括頭髮、面部、手臂、腿部等細節部位
高精度分割
在評估集上達到0.6023的平均交併比和0.9780的整體準確率
服裝識別
能夠區分不同類型的服裝,如上裝、連衣裙、外套等
模型能力
人體部位分割
服裝識別
圖像語義分割
使用案例
時尚與零售
虛擬試衣
用於電商平臺的虛擬試衣功能,精確識別用戶身體部位和現有服裝
服裝推薦
基於用戶穿著分析提供個性化服裝推薦
人機交互
增強現實應用
在AR應用中精確識別用戶身體部位以實現更自然的交互
🚀 segformer-b2-human-parse-24
本模型是 mattmdjaga/segformer_b2_clothes 在 human_parsing_29_mix 數據集上的微調版本。它在評估集上取得了以下結果,可用於圖像分割任務,為相關領域的研究和應用提供了有力支持。
🚀 快速開始
此模型是在 mattmdjaga/segformer_b2_clothes 的基礎上,使用 human_parsing_29_mix 數據集進行微調得到的。以下是該模型在評估集上的表現:
- 損失值(Loss):0.0818
- 平均交併比(Mean Iou):0.6023
- 平均準確率(Mean Accuracy):0.6321
- 總體準確率(Overall Accuracy):0.9780
- 背景準確率(Accuracy Background):0.9969
- 帽子準確率(Accuracy Hat):nan
- 頭髮準確率(Accuracy Hair):0.9646
- 手套準確率(Accuracy Glove):0.0
- 眼鏡準確率(Accuracy Glasses):0.0
- 上半身區域準確率(Accuracy Upper Only Torso Region):0.9747
- 連衣裙上半身區域準確率(Accuracy Dresses Only Torso Region):0.4939
- 外套上半身區域準確率(Accuracy Coat Only Torso Region):0.0039
- 襪子準確率(Accuracy Socks):0.0
- 左褲準確率(Accuracy Left Pants):0.9604
- 右褲準確率(Accuracy Right Patns):0.9646
- 頸部皮膚準確率(Accuracy Skin Around Neck Region):0.9585
- 圍巾準確率(Accuracy Scarf):nan
- 裙子準確率(Accuracy Skirts):0.8904
- 面部準確率(Accuracy Face):0.9796
- 左臂準確率(Accuracy Left Arm):0.9703
- 右臂準確率(Accuracy Right Arm):0.9700
- 左腿準確率(Accuracy Left Leg):0.9267
- 右腿準確率(Accuracy Right Leg):0.9297
- 左鞋準確率(Accuracy Left Shoe):0.0
- 右鞋準確率(Accuracy Right Shoe):0.0
- 上裝左袖準確率(Accuracy Left Sleeve For Upper):0.9462
- 上裝右袖準確率(Accuracy Right Sleeve For Upper):0.9517
- 包準確率(Accuracy Bag):0.0234
- 背景交併比(Iou Background):0.9941
- 帽子交併比(Iou Hat):nan
- 頭髮交併比(Iou Hair):0.9268
- 手套交併比(Iou Glove):0.0
- 眼鏡交併比(Iou Glasses):0.0
- 上半身區域交併比(Iou Upper Only Torso Region):0.9351
- 連衣裙上半身區域交併比(Iou Dresses Only Torso Region):0.4059
- 外套上半身區域交併比(Iou Coat Only Torso Region):0.0035
- 襪子交併比(Iou Socks):0.0
- 左褲交併比(Iou Left Pants):0.9232
- 右褲交併比(Iou Right Patns):0.9217
- 頸部皮膚交併比(Iou Skin Around Neck Region):0.9227
- 圍巾交併比(Iou Scarf):nan
- 裙子交併比(Iou Skirts):0.7887
- 面部交併比(Iou Face):0.9582
- 左臂交併比(Iou Left Arm):0.9436
- 右臂交併比(Iou Right Arm):0.9426
- 左腿交併比(Iou Left Leg):0.8836
- 右腿交併比(Iou Right Leg):0.8767
- 左鞋交併比(Iou Left Shoe):0.0
- 右鞋交併比(Iou Right Shoe):0.0
- 上裝左袖交併比(Iou Left Sleeve For Upper):0.9005
- 上裝右袖交併比(Iou Right Sleeve For Upper):0.9012
- 包交併比(Iou Bag):0.0232
📚 詳細文檔
模型描述
該模型的標籤映射如下:
"id2label": {
"0": "background",
"1": "hat",
"2": "hair",
"3": "glove",
"4": "glasses",
"5": "upper_only_torso_region",
"6": "dresses_only_torso_region",
"7": "coat_only_torso_region",
"8": "socks",
"9": "left_pants",
"10": "right_patns",
"11": "skin_around_neck_region",
"12": "scarf",
"13": "skirts",
"14": "face",
"15": "left_arm",
"16": "right_arm",
"17": "left_leg",
"18": "right_leg",
"19": "left_shoe",
"20": "right_shoe",
"21": "left_sleeve_for_upper",
"22": "right_sleeve_for_upper",
"23": "bag"
}
訓練和評估數據
相關信息待補充。
訓練過程
訓練超參數
訓練過程中使用了以下超參數:
- 學習率(learning_rate):6e-05
- 訓練批次大小(train_batch_size):16
- 評估批次大小(eval_batch_size):12
- 隨機種子(seed):42
- 優化器(optimizer):Adam,其中 betas=(0.9, 0.999),epsilon=1e-08
- 學習率調度器類型(lr_scheduler_type):線性(linear)
- 訓練輪數(num_epochs):8
訓練結果
訓練損失 | 輪數 | 步數 | 驗證損失 | 平均交併比 | 平均準確率 | 總體準確率 | 背景準確率 | 帽子準確率 | 頭髮準確率 | 手套準確率 | 眼鏡準確率 | 上半身區域準確率 | 連衣裙上半身區域準確率 | 外套上半身區域準確率 | 襪子準確率 | 左褲準確率 | 右褲準確率 | 頸部皮膚準確率 | 圍巾準確率 | 裙子準確率 | 面部準確率 | 左臂準確率 | 右臂準確率 | 左腿準確率 | 右腿準確率 | 左鞋準確率 | 右鞋準確率 | 上裝左袖準確率 | 上裝右袖準確率 | 包準確率 | 背景交併比 | 帽子交併比 | 頭髮交併比 | 手套交併比 | 眼鏡交併比 | 上半身區域交併比 | 連衣裙上半身區域交併比 | 外套上半身區域交併比 | 襪子交併比 | 左褲交併比 | 右褲交併比 | 頸部皮膚交併比 | 圍巾交併比 | 裙子交併比 | 面部交併比 | 左臂交併比 | 右臂交併比 | 左腿交併比 | 右腿交併比 | 左鞋交併比 | 右鞋交併比 | 上裝左袖交併比 | 上裝右袖交併比 | 包交併比 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0.0652 | 1.62 | 1000 | 0.0802 | 0.5857 | 0.6166 | 0.9737 | 0.9963 | nan | 0.9490 | 0.0 | 0.0 | 0.9801 | 0.4034 | 0.0 | 0.0 | 0.9487 | 0.9574 | 0.9272 | nan | 0.8783 | 0.9782 | 0.9628 | 0.9534 | 0.8874 | 0.9012 | 0.0 | 0.0 | 0.9227 | 0.9197 | 0.0 | 0.9926 | nan | 0.9117 | 0.0 | 0.0 | 0.9217 | 0.3541 | 0.0 | 0.0 | 0.9084 | 0.9073 | 0.8963 | nan | 0.7766 | 0.9455 | 0.9210 | 0.9191 | 0.8405 | 0.8496 | 0.0 | 0.0 | 0.8673 | 0.8728 | 0.0 |
0.061 | 3.23 | 2000 | 0.0843 | 0.5977 | 0.6335 | 0.9747 | 0.9967 | nan | 0.9580 | 0.0 | 0.0 | 0.9657 | 0.5733 | 0.1504 | 0.0 | 0.9591 | 0.9600 | 0.9497 | nan | 0.8169 | 0.9789 | 0.9667 | 0.9645 | 0.8906 | 0.9165 | 0.0 | 0.0 | 0.9444 | 0.9445 | 0.0003 | 0.9935 | nan | 0.9199 | 0.0 | 0.0 | 0.9273 | 0.4058 | 0.1206 | 0.0 | 0.9131 | 0.9082 | 0.9128 | nan | 0.7330 | 0.9527 | 0.9355 | 0.9343 | 0.8534 | 0.8651 | 0.0 | 0.0 | 0.8860 | 0.8879 | 0.0003 |
0.0653 | 4.85 | 3000 | 0.0823 | 0.6000 | 0.6295 | 0.9775 | 0.9967 | nan | 0.9621 | 0.0 | 0.0 | 0.9780 | 0.4991 | 0.0044 | 0.0 | 0.9587 | 0.9649 | 0.9562 | nan | 0.8842 | 0.9769 | 0.9692 | 0.9651 | 0.9198 | 0.9273 | 0.0 | 0.0 | 0.9422 | 0.9415 | 0.0037 | 0.9939 | nan | 0.9247 | 0.0 | 0.0 | 0.9341 | 0.4136 | 0.0042 | 0.0 | 0.9202 | 0.9193 | 0.9193 | nan | 0.7899 | 0.9563 | 0.9403 | 0.9388 | 0.8745 | 0.8741 | 0.0 | 0.0 | 0.8963 | 0.8970 | 0.0037 |
0.0402 | 6.46 | 4000 | 0.0818 | 0.6023 | 0.6321 | 0.9780 | 0.9969 | nan | 0.9646 | 0.0 | 0.0 | 0.9747 | 0.4939 | 0.0039 | 0.0 | 0.9604 | 0.9646 | 0.9585 | nan | 0.8904 | 0.9796 | 0.9703 | 0.9700 | 0.9267 | 0.9297 | 0.0 | 0.0 | 0.9462 | 0.9517 | 0.0234 | 0.9941 | nan | 0.9268 | 0.0 | 0.0 | 0.9351 | 0.4059 | 0.0035 | 0.0 | 0.9232 | 0.9217 | 0.9227 | nan | 0.7887 | 0.9582 | 0.9436 | 0.9426 | 0.8836 | 0.8767 | 0.0 | 0.0 | 0.9005 | 0.9012 | 0.0232 |
框架版本
- Transformers:4.35.2
- Pytorch:2.1.1
- Datasets:2.15.0
- Tokenizers:0.15.0
📄 許可證
本模型採用 MIT 許可證。
Clipseg Rd64 Refined
Apache-2.0
CLIPSeg是一種基於文本與圖像提示的圖像分割模型,支持零樣本和單樣本圖像分割任務。
圖像分割
Transformers

C
CIDAS
10.0M
122
RMBG 1.4
其他
BRIA RMBG v1.4 是一款先進的背景移除模型,專為高效分離各類圖像的前景與背景而設計,適用於非商業用途。
圖像分割
Transformers

R
briaai
874.12k
1,771
RMBG 2.0
其他
BRIA AI開發的最新背景移除模型,能有效分離各類圖像的前景與背景,適合大規模商業內容創作場景。
圖像分割
Transformers

R
briaai
703.33k
741
Segformer B2 Clothes
MIT
基於ATR數據集微調的SegFormer模型,用於服裝和人體分割
圖像分割
Transformers

S
mattmdjaga
666.39k
410
Sam Vit Base
Apache-2.0
SAM是一個能夠通過輸入提示(如點或框)生成高質量對象掩碼的視覺模型,支持零樣本分割任務
圖像分割
Transformers 其他

S
facebook
635.09k
137
Birefnet
MIT
BiRefNet是一個用於高分辨率二分圖像分割的深度學習模型,通過雙邊參考網絡實現精確的圖像分割。
圖像分割
Transformers

B
ZhengPeng7
626.54k
365
Segformer B1 Finetuned Ade 512 512
其他
SegFormer是一種基於Transformer的語義分割模型,在ADE20K數據集上進行了微調,適用於圖像分割任務。
圖像分割
Transformers

S
nvidia
560.79k
6
Sam Vit Large
Apache-2.0
SAM是一個能夠通過輸入提示點或邊界框生成高質量物體掩膜的視覺模型,具備零樣本遷移能力。
圖像分割
Transformers 其他

S
facebook
455.43k
28
Face Parsing
基於nvidia/mit-b5微調的語義分割模型,用於面部解析任務
圖像分割
Transformers 英語

F
jonathandinu
398.59k
157
Sam Vit Huge
Apache-2.0
SAM是一個能夠根據輸入提示生成高質量對象掩碼的視覺模型,支持零樣本遷移到新任務
圖像分割
Transformers 其他

S
facebook
324.78k
163
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98