オープンソースのSegFormer-B0人体解析モデル - 無料でデプロイし、画像の人体部位を精度よく識別

ホーム

Segformer B0 Finetuned Human Parsing

matei-dorianによって開発

SegFormer-B0アーキテクチャをベースにファインチューニングした人体解析モデルで、画像中の人体部位のセグメンテーションと認識に使用されます

画像セグメンテーション

Transformers

オープンソースライセンス:その他 #人体部位セグメンテーション #精密セマンティックセグメンテーション #衣服認識

ダウンロード数 16

リリース時間 : 5/2/2023

モデル概要

このモデルはMIT-B0アーキテクチャを人体解析タスク用にファインチューニングしたバージョンで、画像中の様々な人体部位（髪、上着、ズボンなど）を識別・セグメント化できます

モデル特徴

軽量アーキテクチャ

SegFormer-B0アーキテクチャをベースとしており、良好な性能を維持しながらモデルサイズが小さい

マルチクラスセグメンテーション

20以上の人体部位と衣服カテゴリを識別・セグメント化可能

転移学習

事前学習済みMIT-B0モデルをベースにファインチューニングし、特定の人体解析タスクに適応

モデル能力

画像セグメンテーション

人体部位認識

衣服分類

セマンティックセグメンテーション

使用事例

ファッション・小売

バーチャル試着

ユーザーの着衣を認識し、バーチャルな衣服オーバーレイを可能にする

ファッション分析

画像中の衣服の組み合わせやトレンドを分析

ヒューマンコンピュータインタラクション

拡張現実アプリケーション

人体部位を正確に認識し、より自然なARインタラクションを実現

🚀 segformer-b0-finetuned-human-parsing

このモデルは、nvidia/mit-b0 をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 1.9476
平均IoU: 0.0726
平均精度: 0.1221
全体精度: 0.3575
背景精度: nan
帽子精度: 0.0048
髪の精度: 0.4813
サングラス精度: 0.0
上着精度: 0.9405
スカート精度: 0.0000
ズボン精度: 0.0631
ドレス精度: 0.1031
ベルト精度: 0.0
左靴精度: 0.0011
右靴精度: 0.0010
顔精度: 0.4406
左足精度: 0.0291
右足精度: 0.0
左腕精度: 0.0
右腕精度: 0.0001
バッグ精度: 0.0114
スカーフ精度: 0.0
背景IoU: 0.0
帽子IoU: 0.0043
髪のIoU: 0.4221
サングラスIoU: 0.0
上着IoU: 0.3239
スカートIoU: 0.0000
ズボンIoU: 0.0559
ドレスIoU: 0.0728
ベルトIoU: 0.0
左靴IoU: 0.0011
右靴IoU: 0.0009
顔IoU: 0.3872
左足IoU: 0.0271
右足IoU: 0.0
左腕IoU: 0.0
右腕IoU: 0.0001
バッグIoU: 0.0106
スカーフIoU: 0.0

📚 詳細ドキュメント

モデルの説明

必要な情報があれば追記されます。

想定される用途と制限

必要な情報があれば追記されます。

学習と評価データ

必要な情報があれば追記されます。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

学習率: 6e-05
学習バッチサイズ: 2
評価バッチサイズ: 2
シード: 42
オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラの種類: 線形
エポック数: 2

学習結果

学習損失	エポック	ステップ	検証損失	平均IoU	平均精度	全体精度	背景精度	帽子精度	髪の精度	サングラス精度	上着精度	スカート精度	ズボン精度	ドレス精度	左靴精度	右靴精度	顔精度	左足精度	右足精度	左腕精度	右腕精度	バッグ精度	帽子IoU	髪のIoU	サングラスIoU	上着IoU	スカートIoU	ズボンIoU	ドレスIoU	左靴IoU	右靴IoU	顔IoU	左足IoU	右足IoU	左腕IoU	右腕IoU	バッグIoU
2.5768	0.4	20	2.7812	0.0726	0.1332	0.2876	nan	0.0178	0.3204	0.0004	0.5548	0.0004	0.2555	0.2373	0.0103	0.0003	0.5637	0.0287	0.0302	0.0001	0.0008	0.2435	0.0166	0.2759	0.0001	0.2781	0.0004	0.1710	0.1295	0.0098	0.0003	0.3251	0.0260	0.0248	0.0001	0.0007	0.0491
2.2093	0.8	40	2.5166	0.0563	0.1052	0.3288	nan	0.0	0.1994	0.0	0.9447	0.0015	0.0435	0.1164	0.0008	0.0000	0.4655	0.0007	0.0003	0.0	0.0	0.0153	0.0	0.1946	0.0	0.3037	0.0015	0.0417	0.0842	0.0008	0.0000	0.3726	0.0007	0.0003	0.0	0.0	0.0124
1.8804	1.2	60	2.0209	0.0632	0.1110	0.3374	nan	0.0087	0.3724	0.0	0.9475	0.0014	0.0162	0.0528	0.0001	0.0008	0.4257	0.0561	0.0001	0.0	0.0	0.0055	0.0077	0.3472	0.0	0.3086	0.0014	0.0156	0.0403	0.0001	0.0008	0.3597	0.0515	0.0001	0.0	0.0	0.0052
1.8776	1.6	80	2.0016	0.0665	0.1154	0.3454	nan	0.0056	0.4172	0.0	0.9412	0.0000	0.0490	0.0697	0.0002	0.0006	0.4349	0.0329	0.0000	0.0	0.0000	0.0100	0.0048	0.3791	0.0	0.3138	0.0000	0.0438	0.0542	0.0002	0.0006	0.3608	0.0304	0.0000	0.0	0.0000	0.0093
1.8471	2.0	100	1.9476	0.0726	0.1221	0.3575	nan	0.0048	0.4813	0.0	0.9405	0.0000	0.0631	0.1031	0.0011	0.0010	0.4406	0.0291	0.0	0.0	0.0001	0.0114	0.0043	0.4221	0.0	0.3239	0.0000	0.0559	0.0728	0.0011	0.0009	0.3872	0.0271	0.0	0.0	0.0001	0.0106