Vegetation Classification Model

🚀 植被分类模型

这是一个基于Transformer架构的图像分类模型，采用迁移学习技术实现，可有效对植被图像进行分类，为相关领域提供准确的图像识别支持。

🚀 快速开始

你可以借助Hugging Face的Transformers库中的pipeline类直接使用该模型，或者将目标图像上传到托管推理API。

>>>from transformers import pipeline
>>>classifier = pipeline("image-classification", model="iammartian0/vegetation_classification_model")
>>>classifier(image)

✨ 主要特性

• 基于Transformer架构，利用迁移学习技术，提升模型性能。
• 预训练模型采用在Imagenet - 21k上训练的Vision transformer。
• 模型在特定数据集上微调后，Top - 1准确率达到0.929。

📦 安装指南

文档未提及具体安装步骤，暂不展示。

💻 使用示例

基础用法

>>>from transformers import pipeline
>>>classifier = pipeline("image-classification", model="iammartian0/vegetation_classification_model")
>>>classifier(image)

高级用法

将目标图像上传到托管推理API进行使用。

📚 详细文档

模型描述

这是一个基于Transformers的图像分类模型，采用迁移学习技术实现。预训练模型是在Imagenet - 21k上训练的Vision transformer。

数据集

使用的数据集从Git仓库Agri - Hub/Space2Ground下载。本模型使用了街道级图像补丁文件夹，该数据集包含从Mapillary街道级图像中裁剪出的植被部分。更多详细信息可查看链接的Git仓库。

训练过程

预处理

根据父文件夹名称分配标签。

图像变换

对所有训练图像应用torchvision.transforms中的RandomResizedCrop。

微调

模型在数据集上进行了四个epoch的微调。

评估结果

模型的Top - 1准确率达到了0.929。

进一步探索方向

• 训练一个多标签模型，除了对植被进行分类外，还能判断图像是来自左侧还是右侧。
• 使用原始/初始的街道级图像集对作物标签进行细粒度分类。

🔧 技术细节

本模型基于迁移学习技术，利用预训练的Vision Transformer模型在特定数据集上进行微调。在训练过程中，通过对图像进行预处理和变换，以及多轮的微调训练，使得模型在植被分类任务上达到了较高的准确率。

📄 许可证

本项目采用Apache - 2.0许可证。

BibTeX引用信息

@misc{wu2020visual,
      title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision}, 
      author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},
      year={2020},
      eprint={2006.03677},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@INPROCEEDINGS{9816335,
  author={Choumos, George and Koukos, Alkiviadis and Sitokonstantinou, Vasileios and Kontoes, Charalampos},
  booktitle={2022 IEEE 14th Image, Video, and Multidimensional Signal Processing Workshop (IVMSP)},
  title={Towards Space-to-Ground Data Availability for Agriculture Monitoring},
  year={2022},
  volume={},
  number={},
  pages={1-5},
  doi={10.1109/IVMSP54334.2022.9816335}
}