Superpoint

🚀 SuperPoint

SuperPoint是一个用于关键点检测和描述的模型。它通过自监督训练全卷积网络得到，能检测在单应性变换下可重复的兴趣点，并为每个点提供描述符，可作为特征提取器用于单应性估计、图像匹配等任务。

🚀 快速开始

模型概述

SuperPoint模型由Daniel DeTone、Tomasz Malisiewicz和Andrew Rabinovich在论文 SuperPoint: Self-Supervised Interest Point Detection and Description 中提出。该模型是全卷积网络进行自监督训练以实现兴趣点检测和描述的成果。它能够检测在单应性变换下可重复的兴趣点，并为每个点提供描述符。虽然该模型单独使用时存在一定局限性，但可作为特征提取器用于其他任务，如单应性估计、图像匹配等。

论文摘要如下： 本文提出了一个自监督框架，用于训练适用于计算机视觉中大量多视图几何问题的兴趣点检测器和描述符。与基于补丁的神经网络不同，我们的全卷积模型可处理全尺寸图像，并在一次前向传播中联合计算像素级兴趣点位置和相关描述符。我们引入了单应性自适应（Homographic Adaptation），这是一种多尺度、多单应性的方法，用于提高兴趣点检测的可重复性，并进行跨领域自适应（例如，从合成数据到真实数据）。当我们使用单应性自适应在MS - COCO通用图像数据集上训练模型时，与初始的预自适应深度模型和任何其他传统角点检测器相比，该模型能够重复检测到更丰富的兴趣点集。与LIFT、SIFT和ORB相比，最终系统在HPatches上的单应性估计结果达到了当前最优水平。

演示笔记本

展示SuperPoint推理和可视化的演示笔记本可在 这里 找到。

💻 使用示例

基础用法

以下是使用该模型检测图像中兴趣点的快速示例：

from transformers import AutoImageProcessor, SuperPointForKeypointDetection
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("magic-leap-community/superpoint")
model = SuperPointForKeypointDetection.from_pretrained("magic-leap-community/superpoint")

inputs = processor(image, return_tensors="pt")
outputs = model(**inputs)

输出包含关键点坐标列表及其相应的分数和描述符（一个256维的向量）。

高级用法

你还可以向模型输入多个图像。由于SuperPoint的特性，要输出动态数量的关键点，你需要使用掩码属性来获取相应信息：

from transformers import AutoImageProcessor, SuperPointForKeypointDetection
import torch
from PIL import Image
import requests

url_image_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
image_1 = Image.open(requests.get(url_image_1, stream=True).raw)
url_image_2 = "http://images.cocodataset.org/test-stuff2017/000000000568.jpg"
image_2 = Image.open(requests.get(url_image_2, stream=True).raw)

images = [image_1, image_2]

processor = AutoImageProcessor.from_pretrained("magic-leap-community/superpoint")
model = SuperPointForKeypointDetection.from_pretrained("magic-leap-community/superpoint")

inputs = processor(images, return_tensors="pt")
outputs = model(**inputs)

我们现在可以可视化这些关键点：

import matplotlib.pyplot as plt
import torch

for i in range(len(images)):
    image = images[i]
    image_width, image_height = image.size  

    image_mask = outputs.mask[i]
    image_indices = torch.nonzero(image_mask).squeeze()

    image_scores = outputs.scores[i][image_indices]
    image_keypoints = outputs.keypoints[i][image_indices]
    
    keypoints = image_keypoints.detach().numpy()
    scores = image_scores.detach().numpy()

    valid_keypoints = [
        (kp, score) for kp, score in zip(keypoints, scores)
        if 0 <= kp[0] < image_width and 0 <= kp[1] < image_height
    ]

    valid_keypoints, valid_scores = zip(*valid_keypoints)
    valid_keypoints = torch.tensor(valid_keypoints)
    valid_scores = torch.tensor(valid_scores)

    print(valid_keypoints.shape)

    plt.axis('off')
    plt.imshow(image)
    plt.scatter(
        valid_keypoints[:, 0], 
        valid_keypoints[:, 1], 
        s=valid_scores * 100, 
        c='red'
    )
    plt.show()

📄 许可证

本模型使用其他许可证。

此模型由 stevenbucaille 贡献。原始代码可在 这里 找到。

@inproceedings{detone2018superpoint,
  title={Superpoint: Self-supervised interest point detection and description},
  author={DeTone, Daniel and Malisiewicz, Tomasz and Rabinovich, Andrew},
  booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition workshops},
  pages={224--236},
  year={2018}
}