Beit FaceMask Finetuned

🚀 用于人脸口罩检测的BEiT模型

BEiT模型在自行整理的自定义人脸口罩数据集Face - Mask18K（包含18000张图像，2个类别）上进行了预训练和微调，图像分辨率为224x224。该模型由Hangbo Bao、Li Dong和Furu Wei在论文《BEIT: BERT Pre - Training of Image Transformers》中提出。

✨ 主要特性

• 图像分类：适用于人脸口罩检测的图像分类任务。
• 预训练与微调：在大规模图像数据上预训练，并在特定数据集上微调。

📚 详细文档

模型描述

BEiT模型是一种视觉变换器（ViT），它是一种类似BERT的变换器编码器模型。与原始的ViT模型不同，BEiT以自监督的方式在大量图像（即ImageNet - 21k）上进行预训练，图像分辨率为224x224像素。该模型的预训练目标是基于掩码图像块，从OpenAI的DALL - E的VQ - VAE编码器中预测视觉标记。随后，该模型在ImageNet（也称为ILSVRC2012）这个包含100万张图像和1000个类别的数据集上进行有监督的微调，图像分辨率同样为224x224。

图像以固定大小的图像块序列（分辨率为16x16）的形式输入到模型中，并进行线性嵌入。与原始的ViT模型不同，BEiT模型使用相对位置嵌入（类似于T5）而非绝对位置嵌入，并且通过对图像块的最终隐藏状态进行平均池化来进行图像分类，而不是在[CLS]标记的最终隐藏状态上放置线性层。

通过对模型进行预训练，它可以学习到图像的内部表示，这些表示可用于提取对下游任务有用的特征。例如，如果您有一个带标签的图像数据集，可以在预训练的编码器上放置一个线性层来训练一个标准分类器。通常会在[CLS]标记上放置一个线性层，因为该标记的最后隐藏状态可以看作是整个图像的表示。或者，也可以对图像块嵌入的最终隐藏状态进行平均池化，并在其上放置一个线性层。

训练指标

评估指标

📄 许可证

本项目采用Apache - 2.0许可证。