Adaptformer LEVIR CD

🚀 AdaptFormerモデル（LEVIR - CDでファインチューニング済み）

このAdaptFormerモデルは、解像度512x512のLEVIR - CDデータセットでファインチューニングされています。このモデルは、Pangらによる論文 AdaptFormer: An Adaptive Hierarchical Semantic Approach for Change Detection on Remote Sensing Images で紹介され、このリポジトリ で最初に公開されました。

🚀 クイックスタート

このモデルを使用して画像を分類する方法は次の通りです。

基本的な使用法

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import requests

image_processor = AutoImageProcessor.from_pretrained("deepang/adaptformer-LEVIR-CD")
model = AutoModel.from_pretrained("deepang/adaptformer-LEVIR-CD")

image_A = Image.open(requests.get('https://raw.githubusercontent.com/aigzhusmart/AdaptFormer/main/figures/test_2_1_A.png', stream=True).raw)
image_B = Image.open(requests.get('https://raw.githubusercontent.com/aigzhusmart/AdaptFormer/main/figures/test_2_1_B.png', stream=True).raw)
label = Image.open(requests.get('https://raw.githubusercontent.com/aigzhusmart/AdaptFormer/main/figures/test_2_1_label.png', stream=True).raw)


inputs = preprocessor(images=(image_A, image_B), return_tensors="pt")
outputs = adaptfromer_model(**inputs)
logits = outputs.logits # shape (batch_size, num_labels, height, width)
pred = logits.argmax(dim=1)[0]

✨ 主な機能

AdaptFormerは、階層的なセマンティクスを適応的に解釈するように独特に設計されています。ワンサイズフィットオールのアプローチではなく、3つのセマンティック深度にわたって異なる戦略を採用しています。浅いセマンティクスには単純な操作を使用し、中間のセマンティクスには空間データを同化して地域間の詳細な変化を強調し、深いセマンティクスにはカスケードされた深度方向の注意を統合して、高レベルの表現に焦点を当てています。

📚 ドキュメント

モデルの説明

AdaptFormerは、階層的なセマンティクスを適応的に解釈するように設計されています。浅いセマンティクスには単純な操作を使用し、中間のセマンティクスには空間データを同化して地域間の詳細な変化を強調し、深いセマンティクスにはカスケードされた深度方向の注意を統合して、高レベルの表現に焦点を当てています。

ライセンス

このモデルのライセンスについては、こちら を参照してください。

BibTeXエントリと引用情報

@article{huang2024adaptformer,
  title={AdaptFormer: An Adaptive Hierarchical Semantic Approach for Change Detection on Remote Sensing Images},
  author={Huang, Teng and Hong, Yile and Pang, Yan and Liang, Jiaming and Hong, Jie and Huang, Lin and Zhang, Yuan and Jia, Yan and Savi, Patrizia},
  journal={IEEE Transactions on Instrumentation and Measurement},
  year={2024},
  publisher={IEEE}
}