Vitpose Base Simple

🚀 VitPose模型卡片

ViTPose是用於人體姿態估計的簡單視覺變換器基線模型，ViTPose+則是用於通用人體姿態估計的視覺變換器基礎模型。該模型在MS COCO關鍵點測試開發集上達到了81.1的平均精度（AP）。

🚀 快速開始

使用以下代碼開始使用該模型：

import torch
import requests
import numpy as np

from PIL import Image

from transformers import (
    AutoProcessor,
    RTDetrForObjectDetection,
    VitPoseForPoseEstimation,
)

device = "cuda" if torch.cuda.is_available() else "cpu"

url = "http://images.cocodataset.org/val2017/000000000139.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# ------------------------------------------------------------------------
# Stage 1. Detect humans on the image
# ------------------------------------------------------------------------

# You can choose detector by your choice
person_image_processor = AutoProcessor.from_pretrained("PekingU/rtdetr_r50vd_coco_o365")
person_model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r50vd_coco_o365", device_map=device)

inputs = person_image_processor(images=image, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = person_model(**inputs)

results = person_image_processor.post_process_object_detection(
    outputs, target_sizes=torch.tensor([(image.height, image.width)]), threshold=0.3
)
result = results[0]  # take first image results

# Human label refers 0 index in COCO dataset
person_boxes = result["boxes"][result["labels"] == 0]
person_boxes = person_boxes.cpu().numpy()

# Convert boxes from VOC (x1, y1, x2, y2) to COCO (x1, y1, w, h) format
person_boxes[:, 2] = person_boxes[:, 2] - person_boxes[:, 0]
person_boxes[:, 3] = person_boxes[:, 3] - person_boxes[:, 1]

# ------------------------------------------------------------------------
# Stage 2. Detect keypoints for each person found
# ------------------------------------------------------------------------

image_processor = AutoProcessor.from_pretrained("usyd-community/vitpose-base-simple")
model = VitPoseForPoseEstimation.from_pretrained("usyd-community/vitpose-base-simple", device_map=device)

inputs = image_processor(image, boxes=[person_boxes], return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model(**inputs)

pose_results = image_processor.post_process_pose_estimation(outputs, boxes=[person_boxes], threshold=0.3)
image_pose_result = pose_results[0]  # results for first image

for i, person_pose in enumerate(image_pose_result):
    print(f"Person #{i}")
    for keypoint, label, score in zip(
        person_pose["keypoints"], person_pose["labels"], person_pose["scores"]
    ):
        keypoint_name = model.config.id2label[label.item()]
        x, y = keypoint
        print(f" - {keypoint_name}: x={x.item():.2f}, y={y.item():.2f}, score={score.item():.2f}")

輸出示例：

Person #0
 - Nose: x=428.72, y=170.61, score=0.92
 - L_Eye: x=429.47, y=167.83, score=0.90
 - R_Eye: x=428.73, y=168.16, score=0.79
 - L_Ear: x=433.88, y=167.35, score=0.94
 - R_Ear: x=441.09, y=166.86, score=0.90
 - L_Shoulder: x=440.02, y=177.15, score=0.93
 - R_Shoulder: x=446.28, y=178.39, score=0.74
 - L_Elbow: x=436.88, y=197.90, score=0.92
 - R_Elbow: x=433.35, y=201.22, score=0.54
 - L_Wrist: x=431.45, y=218.66, score=0.88
 - R_Wrist: x=420.09, y=212.80, score=0.96
 - L_Hip: x=444.81, y=224.16, score=0.81
 - R_Hip: x=452.33, y=223.91, score=0.82
 - L_Knee: x=442.24, y=256.03, score=0.83
 - R_Knee: x=451.12, y=255.20, score=0.82
 - L_Ankle: x=443.20, y=288.18, score=0.60
 - R_Ankle: x=456.03, y=285.76, score=0.82
Person #1
 - Nose: x=398.12, y=181.71, score=0.87
 - L_Eye: x=398.45, y=179.73, score=0.82
 - R_Eye: x=396.07, y=179.45, score=0.90
 - R_Ear: x=388.85, y=180.22, score=0.88
 - L_Shoulder: x=397.24, y=194.16, score=0.76
 - R_Shoulder: x=384.60, y=190.74, score=0.64
 - L_Wrist: x=402.25, y=207.03, score=0.33

✨ 主要特性

• 結構簡單：ViTPose採用簡單且非分層的視覺變換器作為骨幹網絡，用於提取給定人物實例的特徵，並使用輕量級解碼器進行姿態估計。
• 可擴展性：利用變換器可擴展的模型容量和高並行性，模型參數可以從1億擴展到10億，在吞吐量和性能之間達到了新的帕累托最優。
• 靈活性：在注意力類型、輸入分辨率、預訓練和微調策略以及處理多個姿態任務方面具有很高的靈活性。
• 知識可遷移性：通過簡單的知識令牌，可以輕鬆地將大型ViTPose模型的知識遷移到小型模型。

📚 詳細文檔

模型詳情

儘管在設計中未考慮特定領域知識，但普通視覺變換器在視覺識別任務中表現出了出色的性能。然而，很少有人嘗試揭示這種簡單結構在姿態估計任務中的潛力。在本文中，作者通過一個名為ViTPose的簡單基線模型，從多個方面展示了普通視覺變換器在姿態估計方面的驚人能力，即模型結構的簡單性、模型規模的可擴展性、訓練範式的靈活性以及模型間知識的可遷移性。具體來說，ViTPose採用簡單且非分層的視覺變換器作為骨幹網絡，以提取給定人物實例的特徵，並使用輕量級解碼器進行姿態估計。通過利用變換器可擴展的模型容量和高並行性，該模型的參數可以從1億擴展到10億，在吞吐量和性能之間達到了新的帕累托最優。此外，ViTPose在注意力類型、輸入分辨率、預訓練和微調策略以及處理多個姿態任務方面非常靈活。作者還通過實驗證明，大型ViTPose模型的知識可以通過簡單的知識令牌輕鬆遷移到小型模型。實驗結果表明，基本的ViTPose模型在具有挑戰性的MS COCO關鍵點檢測基準上優於代表性方法，而最大的模型則創造了新的技術水平，即在MS COCO測試開發集上達到了80.9的平均精度（AP）。代碼和模型可在https://github.com/ViTAE-Transformer/ViTPose獲取。

模型描述

這是一個🤗 transformers模型的模型卡片，該模型已被推送到Hub上。此模型卡片是自動生成的。

• 開發者：Yufei Xu, Jing Zhang, Qiming Zhang, Dacheng Tao
• 資助方：ARC FL - 170100117和IH - 180100002
• 許可證：Apache - 2.0
• 移植到🤗 Transformers的人員：Sangbum Choi和Niels Rogge

模型來源

• 原始倉庫：https://github.com/ViTAE-Transformer/ViTPose
• 論文：https://arxiv.org/pdf/2204.12484
• 演示：https://huggingface.co/spaces?sort=trending&search=vitpose

應用場景

ViTPose模型由ViTAE - Transformer團隊開發，主要用於姿態估計任務。以下是該模型的一些直接應用：

• 人體姿態估計：該模型可用於估計圖像或視頻中人體的姿態，包括識別頭部、肩部、肘部、手腕、臀部、膝蓋和腳踝等關鍵身體關節的位置。
• 動作識別：通過分析一段時間內的姿態，該模型可以幫助識別各種人類動作和活動。
• 監控：在安全和監控應用中，ViTPose可用於監控和分析公共場所或私人場所中的人類行為。
• 健康與健身：該模型可用於健身應用程序，以跟蹤和分析運動姿態，提供關於姿勢和技術的反饋。
• 遊戲和動畫：ViTPose可以集成到遊戲和動畫系統中，以創建更逼真的角色動作和交互。

偏差、風險和侷限性

在本文中，作者提出了一個簡單而有效的用於姿態估計的視覺變換器基線模型，即ViTPose。儘管在結構上沒有複雜的設計，但ViTPose在MS COCO數據集上取得了最先進的性能。然而，ViTPose的潛力尚未通過更先進的技術（如複雜的解碼器或FPN結構）得到充分挖掘，這些技術可能會進一步提高性能。此外，儘管ViTPose展示了諸如簡單性、可擴展性、靈活性和可遷移性等令人興奮的特性，但仍需要更多的研究工作，例如探索基於提示的調優，以進一步展示ViTPose的靈活性。此外，作者認為ViTPose也可以應用於其他姿態估計數據集，如動物姿態估計和麵部關鍵點檢測。這些將作為未來的工作。

訓練詳情

訓練數據

作者使用MS COCO [28]、AI Challenger [41]、MPII [3]和CrowdPose [22]數據集進行訓練和評估。OCHuman [54]數據集僅用於評估階段，以衡量模型在處理遮擋人物時的性能。MS COCO數據集包含118K張圖像和150K個人體實例，每個實例最多有17個關鍵點註釋，該數據集遵循CC - BY - 4.0許可證。MPII數據集遵循BSD許可證，包含15K張圖像和22K個人體實例用於訓練，每個實例最多註釋16個人體關鍵點。AI Challenger數據集更大，包含超過200K張訓練圖像和350個人體實例，每個實例最多註釋14個關鍵點。OCHuman數據集包含嚴重遮擋的人體實例，僅用於驗證和測試集，包括4K張圖像和8K個實例。

訓練超參數

• 訓練機制：

速度、大小和時間

評估

OCHuman驗證和測試集

為了評估人體姿態估計模型在嚴重遮擋人體實例上的性能，作者在OCHuman驗證和測試集上使用真實邊界框對ViTPose變體和代表性模型進行了測試。由於OCHuman數據集中並非所有人體實例都有註釋，使用額外的人體檢測器會導致大量“誤報”邊界框，無法反映姿態估計模型的真實能力，因此作者未採用額外的人體檢測器。具體來說，使用了對應於MS COCO數據集的ViTPose解碼器頭，因為MS COCO和OCHuman數據集中的關鍵點定義相同。

MPII驗證集

作者在MPII驗證集上使用真實邊界框評估了ViTPose和代表性模型的性能。遵循MPII的默認設置，使用PCKh作為性能評估指標。

評估結果

模型架構和目標

硬件

模型基於mmpose代碼庫在8個A100 GPU上進行訓練。

🔧 技術細節

模型結構

ViTPose採用簡單且非分層的視覺變換器作為骨幹網絡，用於提取給定人物實例的特徵，並使用輕量級解碼器進行姿態估計。

可擴展性

利用變換器可擴展的模型容量和高並行性，模型參數可以從1億擴展到10億，在吞吐量和性能之間達到了新的帕累托最優。

靈活性

在注意力類型、輸入分辨率、預訓練和微調策略以及處理多個姿態任務方面具有很高的靈活性。

知識遷移

通過簡單的知識令牌，可以輕鬆地將大型ViTPose模型的知識遷移到小型模型。

📄 許可證

本模型採用Apache - 2.0許可證。

📚 引用

BibTeX：

@article{xu2022vitposesimplevisiontransformer,
  title={ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation},
  author={Yufei Xu and Jing Zhang and Qiming Zhang and Dacheng Tao},
  year={2022},
  eprint={2204.12484},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2204.12484}
}