SDO VT1

🚀 NASA太阳动力学天文台视觉变换器v.1 (SDO_VT1)

本模型是一个基于视觉变换器（Vision Transformer）的模型，针对美国国家航空航天局（NASA）太阳动力学天文台（SDO）的数据进行了微调，可用于太阳活动区域的分类任务。它展示了HuggingFace平台的易用性，以及与主流深度学习框架的集成能力。

🚀 快速开始

你可以使用以下代码在Google Colab上快速运行该模型（如果你已经在本地安装了transformers库，请注释掉pip install这一行）：

!pip install transformers --quiet
from transformers import AutoFeatureExtractor, AutoModelForImageClassification
from PIL import Image
import requests

url = 'https://sdo.gsfc.nasa.gov/assets/gallery/preview/211_coronalhole.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained("kenobi/SDO_VT1")
model = AutoModelForImageClassification.from_pretrained("kenobi/SDO_VT1")
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits
# 模型预测三个微调类之一 (NASA_SDO_Coronal_Hole, NASA_SDO_Coronal_Loop 或 NASA_SDO_Solar_Flare) 
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

✨ 主要特性

• 针对性微调：这是首个基于NASA SDO任务数据的视觉变换器模型，针对太阳动力学天文台的数据进行了微调，用于活动区域分类任务。
• 平台易用性：展示了HuggingFace平台的易用性，以及与PyTorch、TensorFlow或JAX等流行深度学习框架的集成能力。
• 性能监控：支持使用Weights and Biases进行性能监控。
• 预训练模型利用：能够轻松利用预训练的大规模变换器模型进行有针对性的微调。

📚 详细文档

作者信息

• Frank Soboczenski，英国约克大学和伦敦国王学院
• Paul Wright，英国利兹市Wright AI有限公司

数据来源说明

本模型使用的数据由NASA/SDO以及AIA、EVE和HMI科学团队提供。作者在此衷心感谢整个NASA太阳动力学天文台任务团队。目前，该模型仅在SDO图库数据上进行了训练，后续会使用更多数据进行训练。

示例图片使用说明

你可以使用以下图片进行推理API测试：

• 可在右上角的推理API字段中使用下面的图片之一。
• 更多用于测试的图片可在 太阳动力学天文台图库 中找到。
• 你可以使用以下标签进一步筛选测试图片："coronal holes"（日冕洞）、"loops"（日珥环）或 "flares"（耀斑），也可以选择 "active regions"（活动区域）获取一个通用的测试图片池。

日冕洞示例图片

日珥环示例图片

耀斑示例图片

训练数据

该ViT模型在包含1400万张图像和21000个类别的数据集（ImageNet-21k）上进行了预训练。有关所使用的基础模型的更多信息，请参考：(https://huggingface.co/google/vit-base-patch16-224-in21k)

引用信息

目前关于这项工作的论文正在准备中。在此期间，请使用以下引用信息引用该模型：

@misc{sdovt2022,
  author = {Frank Soboczenski and Paul J Wright},
  title = {SDOVT: A Vision Transformer Model for Solar Dynamics Observatory (SDO) Data},
  url = {https://huggingface.co/kenobi/SDO_VT1/},
  version = {1.0},
  year = {2022},
}

基础ViT模型的引用信息：

@misc{wu2020visual,
      title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision}, 
      author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},
      year={2020},
      eprint={2006.03677},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

ImageNet的引用信息：

@inproceedings{deng2009imagenet,
  title={Imagenet: A large-scale hierarchical image database},
  author={Deng, Jia and Dong, Wei and Socher, Richard and Li, Li-Jia and Li, Kai and Fei-Fei, Li},
  booktitle={2009 IEEE conference on computer vision and pattern recognition},
  pages={248--255},
  year={2009},
  organization={Ieee}
}

模型指标