Deit FaceMask Finetuned

🚀 用於口罩檢測的蒸餾數據高效圖像Transformer

本項目基於蒸餾數據高效圖像Transformer（DeiT）模型，該模型在自定義的Face - Mask18K數據集（包含18000張圖像、2個類別）上進行了預訓練和微調，圖像分辨率為224x224。該模型首次由Touvron等人在論文“Training data - efficient image transformers & distillation through attention”中提出。

✨ 主要特性

• 基於蒸餾視覺Transformer（ViT）架構，除了類別標記外，使用蒸餾標記，能在預訓練和微調階段有效向教師模型（CNN）學習。
• 蒸餾標記通過反向傳播學習，在自注意力層與類別（[CLS]）和圖像塊標記進行交互。
• 模型將圖像以固定大小的圖像塊序列（分辨率16x16）形式輸入，並進行線性嵌入。

📚 詳細文檔

模型描述

本模型是一個蒸餾視覺Transformer（ViT）。它除了類別標記之外，還使用一個蒸餾標記，以便在預訓練和微調過程中有效地從教師模型（CNN）中學習。蒸餾標記通過反向傳播進行學習，在自注意力層中與類別（[CLS]）和圖像塊標記進行交互。

圖像以固定大小的圖像塊序列（分辨率為16x16）的形式輸入到模型中，並進行線性嵌入。

訓練指標

評估指標

📄 許可證

本項目採用Apache - 2.0許可證。