SDO VT1

🚀 NASA Solar Dynamics Observatory Vision Transformer v.1 (SDO_VT1)

このモデルは、Solar Dynamics Observatory (SDO) のデータでファインチューニングされたVision Transformerモデルです。HuggingFaceプラットフォームの使いやすさや、PyTorchなどの人気のディープラーニングフレームワークとの統合、Weights and Biasesによるパフォーマンスモニタリング、事前学習された大規模Transformerモデルをターゲットにファインチューニングする能力を示すことを目的としています。

タグ

• image-classification
• pytorch

評価指標

• accuracy

モデル情報

🚀 クイックスタート

このVision Transformerモデルは、Solar Dynamics Observatory (SDO) のデータでファインチューニングされています。使用された画像はこちらから入手できます： Solar Dynamics Observatory Gallery

このモデルは、SDOデータを用いた活発領域分類タスクでファインチューニングされたVision Transformerモデルです。

著者

Frank Soboczenski、University of York & King's College London, UK
Paul Wright、Wright AI Ltd, Leeds, UK

データの提供元

このモデルに使用されたデータは、NASA/SDOおよびAIA、EVE、HMIの科学チームによって提供されました。著者は、NASA Solar Dynamics Observatory Mission Team全体に感謝の意を表します。

モデルの目的

SDOチーム向けに、このモデルはデモンストレーション用の最初のバージョンです。現時点ではSDO Galleryのデータのみで学習されており、追加のデータを用いた学習を進めています。

✨ 主な機能

このモデルは、以下の機能を持っています：

• HuggingFaceプラットフォームとの統合
• PyTorch、TensorFlow、JAXなどの人気のディープラーニングフレームワークとの互換性
• Weights and Biasesによるパフォーマンスモニタリング
• 事前学習された大規模Transformerモデルの活用

📦 インストール

Google Colabで使用する場合は、以下のコマンドで必要なライブラリをインストールします。ローカルで使用する場合は、transformersがすでにインストールされている場合はpip installをコメントアウトしてください。

!pip install transformers --quiet

💻 使用例

基本的な使用法

from transformers import AutoFeatureExtractor, AutoModelForImageClassification
from PIL import Image
import requests

url = 'https://sdo.gsfc.nasa.gov/assets/gallery/preview/211_coronalhole.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained("kenobi/SDO_VT1")
model = AutoModelForImageClassification.from_pretrained("kenobi/SDO_VT1")
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits
# モデルは3つのファインチューニングされたクラスのいずれかを予測します (NASA_SDO_Coronal_Hole, NASA_SDO_Coronal_Loop or NASA_SDO_Solar_Flare) 
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

📚 ドキュメント

サンプル画像

右上の推論APIフィールドには、以下の画像のいずれかを使用してください。

テスト用の追加画像はこちらで見つけることができます： Solar Dynamics Observatory Gallery

テスト用の画像をさらに選択するために、以下のタグを使用できます： "coronal holes", "loops" または "flares"

また、"active regions" を選択すると、一般的なテスト用の画像プールを取得できます。

NASA_SDO_Coronal_Hole

NASA_SDO_Coronal_Loop

NASA_SDO_Solar_Flare

学習データ

このViTモデルは、1400万枚の画像と21kのクラスからなるデータセット (ImageNet-21k) で事前学習されています。 使用されたベースモデルの詳細はこちらで確認できます：(https://huggingface.co/google/vit-base-patch16-224-in21k)

📄 引用

このモデルに関する論文は現在準備中です。その間は、以下の引用を使用してこのモデルを参照してください：

@misc{sdovt2022,
  author = {Frank Soboczenski and Paul J Wright},
  title = {SDOVT: A Vision Transformer Model for Solar Dynamics Observatory (SDO) Data},
  url = {https://huggingface.co/kenobi/SDO_VT1/},
  version = {1.0},
  year = {2022},
}

使用されたベースViTモデルについては、以下を参照してください：

@misc{wu2020visual,
      title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision}, 
      author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},
      year={2020},
      eprint={2006.03677},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Imagenetについては、以下を参照してください：

@inproceedings{deng2009imagenet,
  title={Imagenet: A large-scale hierarchical image database},
  author={Deng, Jia and Dong, Wei and Socher, Richard and Li, Li-Jia and Li, Kai and Fei-Fei, Li},
  booktitle={2009 IEEE conference on computer vision and pattern recognition},
  pages={248--255},
  year={2009},
  organization={Ieee}
}