Superpoint

🚀 SuperPoint

SuperPointモデルは、画像内の興味のある点（キーポイント）を検出し、それらの点に対する記述子を生成するための自己教師付き学習モデルです。このモデルは、コンピュータビジョンの分野におけるホモグラフィ推定や画像マッチングなどのタスクに有用です。

🚀 クイックスタート

概要

SuperPointモデルは、Daniel DeTone、Tomasz Malisiewicz、Andrew Rabinovichによる論文 SuperPoint: Self-Supervised Interest Point Detection and Description で提案されました。このモデルは、完全畳み込みネットワークを自己教師付き学習で訓練し、興味のある点の検出と記述を行います。モデルは、ホモグラフィ変換の下で再現性のある興味のある点を検出し、各点に対する記述子を提供することができます。このモデル単独での使用は限られていますが、ホモグラフィ推定や画像マッチングなどの他のタスクの特徴抽出器として使用することができます。

論文の概要は以下の通りです。

この論文では、コンピュータビジョンにおける多数の多視点幾何学問題に適した興味点検出器と記述子を訓練するための自己教師付きフレームワークを提案します。パッチベースのニューラルネットワークとは異なり、我々の完全畳み込みモデルは全サイズの画像で動作し、1回の順伝播で画素レベルの興味点の位置と関連する記述子を同時に計算します。我々は、興味点検出の再現性を向上させ、ドメイン間の適応（例えば、合成から実際へ）を行うためのマルチスケール、マルチホモグラフィアプローチであるホモグラフィ適応を導入します。ホモグラフィ適応を使用してMS - COCO汎用画像データセットで訓練された我々のモデルは、初期の適応前の深層モデルや他の従来のコーナー検出器よりもはるかに豊富な興味点を繰り返し検出することができます。最終的なシステムは、LIFT、SIFT、ORBと比較して、HPatches上で最先端のホモグラフィ推定結果をもたらします。

デモノートブック

SuperPointを使用した推論と可視化を示すデモノートブックは こちら で見ることができます。

💻 使用例

基本的な使用法

以下は、画像内の興味のある点を検出するためにモデルを使用する簡単な例です。

from transformers import AutoImageProcessor, SuperPointForKeypointDetection
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("magic-leap-community/superpoint")
model = SuperPointForKeypointDetection.from_pretrained("magic-leap-community/superpoint")

inputs = processor(image, return_tensors="pt")
outputs = model(**inputs)

出力には、それぞれのスコアと記述子（256次元のベクトル）を持つキーポイント座標のリストが含まれます。

高度な使用法

複数の画像をモデルに入力することもできます。SuperPointの性質上、動的な数のキーポイントを出力するためには、マスク属性を使用してそれぞれの情報を取得する必要があります。

from transformers import AutoImageProcessor, SuperPointForKeypointDetection
import torch
from PIL import Image
import requests

url_image_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
image_1 = Image.open(requests.get(url_image_1, stream=True).raw)
url_image_2 = "http://images.cocodataset.org/test-stuff2017/000000000568.jpg"
image_2 = Image.open(requests.get(url_image_2, stream=True).raw)

images = [image_1, image_2]

processor = AutoImageProcessor.from_pretrained("magic-leap-community/superpoint")
model = SuperPointForKeypointDetection.from_pretrained("magic-leap-community/superpoint")

inputs = processor(images, return_tensors="pt")
outputs = model(**inputs)

次に、キーポイントを可視化することができます。

import matplotlib.pyplot as plt
import torch

for i in range(len(images)):
    image = images[i]
    image_width, image_height = image.size  

    image_mask = outputs.mask[i]
    image_indices = torch.nonzero(image_mask).squeeze()

    image_scores = outputs.scores[i][image_indices]
    image_keypoints = outputs.keypoints[i][image_indices]
    
    keypoints = image_keypoints.detach().numpy()
    scores = image_scores.detach().numpy()

    valid_keypoints = [
        (kp, score) for kp, score in zip(keypoints, scores)
        if 0 <= kp[0] < image_width and 0 <= kp[1] < image_height
    ]

    valid_keypoints, valid_scores = zip(*valid_keypoints)
    valid_keypoints = torch.tensor(valid_keypoints)
    valid_scores = torch.tensor(valid_scores)

    print(valid_keypoints.shape)

    plt.axis('off')
    plt.imshow(image)
    plt.scatter(
        valid_keypoints[:, 0], 
        valid_keypoints[:, 1], 
        s=valid_scores * 100, 
        c='red'
    )
    plt.show()

このモデルは stevenbucaille によって貢献されました。元のコードは こちら で見ることができます。

引用

@inproceedings{detone2018superpoint,
  title={Superpoint: Self-supervised interest point detection and description},
  author={DeTone, Daniel and Malisiewicz, Tomasz and Rabinovich, Andrew},
  booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition workshops},
  pages={224--236},
  year={2018}
}

📄 ライセンス

Other