SDO VT1

🚀 NASA太陽動力學天文臺視覺變換器v.1 (SDO_VT1)

本模型是一個基於視覺變換器（Vision Transformer）的模型，針對美國國家航空航天局（NASA）太陽動力學天文臺（SDO）的數據進行了微調，可用於太陽活動區域的分類任務。它展示了HuggingFace平臺的易用性，以及與主流深度學習框架的集成能力。

🚀 快速開始

你可以使用以下代碼在Google Colab上快速運行該模型（如果你已經在本地安裝了transformers庫，請註釋掉pip install這一行）：

!pip install transformers --quiet
from transformers import AutoFeatureExtractor, AutoModelForImageClassification
from PIL import Image
import requests

url = 'https://sdo.gsfc.nasa.gov/assets/gallery/preview/211_coronalhole.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained("kenobi/SDO_VT1")
model = AutoModelForImageClassification.from_pretrained("kenobi/SDO_VT1")
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits
# 模型預測三個微調類之一 (NASA_SDO_Coronal_Hole, NASA_SDO_Coronal_Loop 或 NASA_SDO_Solar_Flare) 
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

✨ 主要特性

• 針對性微調：這是首個基於NASA SDO任務數據的視覺變換器模型，針對太陽動力學天文臺的數據進行了微調，用於活動區域分類任務。
• 平臺易用性：展示了HuggingFace平臺的易用性，以及與PyTorch、TensorFlow或JAX等流行深度學習框架的集成能力。
• 性能監控：支持使用Weights and Biases進行性能監控。
• 預訓練模型利用：能夠輕鬆利用預訓練的大規模變換器模型進行有針對性的微調。

📚 詳細文檔

作者信息

• Frank Soboczenski，英國約克大學和倫敦國王學院
• Paul Wright，英國利茲市Wright AI有限公司

數據來源說明

本模型使用的數據由NASA/SDO以及AIA、EVE和HMI科學團隊提供。作者在此衷心感謝整個NASA太陽動力學天文臺任務團隊。目前，該模型僅在SDO圖庫數據上進行了訓練，後續會使用更多數據進行訓練。

示例圖片使用說明

你可以使用以下圖片進行推理API測試：

• 可在右上角的推理API字段中使用下面的圖片之一。
• 更多用於測試的圖片可在 太陽動力學天文臺圖庫 中找到。
• 你可以使用以下標籤進一步篩選測試圖片："coronal holes"（日冕洞）、"loops"（日珥環）或 "flares"（耀斑），也可以選擇 "active regions"（活動區域）獲取一個通用的測試圖片池。

日冕洞示例圖片

日珥環示例圖片

耀斑示例圖片

訓練數據

該ViT模型在包含1400萬張圖像和21000個類別的數據集（ImageNet-21k）上進行了預訓練。有關所使用的基礎模型的更多信息，請參考：(https://huggingface.co/google/vit-base-patch16-224-in21k)

引用信息

目前關於這項工作的論文正在準備中。在此期間，請使用以下引用信息引用該模型：

@misc{sdovt2022,
  author = {Frank Soboczenski and Paul J Wright},
  title = {SDOVT: A Vision Transformer Model for Solar Dynamics Observatory (SDO) Data},
  url = {https://huggingface.co/kenobi/SDO_VT1/},
  version = {1.0},
  year = {2022},
}

基礎ViT模型的引用信息：

@misc{wu2020visual,
      title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision}, 
      author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},
      year={2020},
      eprint={2006.03677},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

ImageNet的引用信息：

@inproceedings{deng2009imagenet,
  title={Imagenet: A large-scale hierarchical image database},
  author={Deng, Jia and Dong, Wei and Socher, Richard and Li, Li-Jia and Li, Kai and Fei-Fei, Li},
  booktitle={2009 IEEE conference on computer vision and pattern recognition},
  pages={248--255},
  year={2009},
  organization={Ieee}
}

模型指標