Deit FaceMask Finetuned

🚀 顔マスク検出のための蒸留型データ効率的画像トランスフォーマー

このモデルは、独自収集したカスタム顔マスクデータセットFace - Mask18K（18,000枚の画像、2クラス）で解像度224x224で事前学習および微調整された蒸留型データ効率的画像トランスフォーマー（DeiT）です。このモデルは、Touvronらによる論文「Training data - efficient image transformers & distillation through attention」で初めて紹介されました。

🚀 クイックスタート

このモデルは、顔マスク検出の画像分類タスクに使用できます。事前学習済みの重みを利用して、高精度な検出を行うことができます。

✨ 主な機能

• 蒸留型のVision Transformer（ViT）を使用しており、教師モデル（CNN）から効果的に学習します。
• 独自収集した18,000枚の画像を含むカスタムデータセットで事前学習および微調整されています。
• 画像を固定サイズのパッチ列として処理し、線形埋め込みを行います。

📚 ドキュメント

モデルの説明

このモデルは蒸留型のVision Transformer（ViT）です。クラストークンに加えて、蒸留トークンを使用して、事前学習と微調整の両方の段階で教師モデル（CNN）から効果的に学習します。蒸留トークンは、自己注意層を介してクラス（[CLS]）トークンとパッチトークンと相互作用することで、誤差逆伝播により学習されます。

画像は固定サイズのパッチ列（解像度16x16）としてモデルに入力され、線形埋め込みが行われます。

学習指標

epoch                    =          2.0
total_flos               = 2078245655GF
train_loss               =       0.0438
train_runtime            =   1:37:16.87
train_samples_per_second =        9.887
train_steps_per_second   =        0.309

評価指標

epoch                   =        2.0
eval_accuracy           =     0.9922
eval_loss               =     0.0271
eval_runtime            = 0:03:17.36
eval_samples_per_second =      18.22
eval_steps_per_second   =       2.28

情報テーブル

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。