Beit FaceMask Finetuned

🚀 用於人臉口罩檢測的BEiT模型

BEiT模型在自行整理的自定義人臉口罩數據集Face - Mask18K（包含18000張圖像，2個類別）上進行了預訓練和微調，圖像分辨率為224x224。該模型由Hangbo Bao、Li Dong和Furu Wei在論文《BEIT: BERT Pre - Training of Image Transformers》中提出。

✨ 主要特性

• 圖像分類：適用於人臉口罩檢測的圖像分類任務。
• 預訓練與微調：在大規模圖像數據上預訓練，並在特定數據集上微調。

📚 詳細文檔

模型描述

BEiT模型是一種視覺變換器（ViT），它是一種類似BERT的變換器編碼器模型。與原始的ViT模型不同，BEiT以自監督的方式在大量圖像（即ImageNet - 21k）上進行預訓練，圖像分辨率為224x224像素。該模型的預訓練目標是基於掩碼圖像塊，從OpenAI的DALL - E的VQ - VAE編碼器中預測視覺標記。隨後，該模型在ImageNet（也稱為ILSVRC2012）這個包含100萬張圖像和1000個類別的數據集上進行有監督的微調，圖像分辨率同樣為224x224。

圖像以固定大小的圖像塊序列（分辨率為16x16）的形式輸入到模型中，並進行線性嵌入。與原始的ViT模型不同，BEiT模型使用相對位置嵌入（類似於T5）而非絕對位置嵌入，並且通過對圖像塊的最終隱藏狀態進行平均池化來進行圖像分類，而不是在[CLS]標記的最終隱藏狀態上放置線性層。

通過對模型進行預訓練，它可以學習到圖像的內部表示，這些表示可用於提取對下游任務有用的特徵。例如，如果您有一個帶標籤的圖像數據集，可以在預訓練的編碼器上放置一個線性層來訓練一個標準分類器。通常會在[CLS]標記上放置一個線性層，因為該標記的最後隱藏狀態可以看作是整個圖像的表示。或者，也可以對圖像塊嵌入的最終隱藏狀態進行平均池化，並在其上放置一個線性層。

訓練指標

評估指標

📄 許可證

本項目採用Apache - 2.0許可證。