Vit FaceMask Finetuned

🚀 顔マスク検出のためのビジョントランスフォーマー (ViT)

このモデルは、独自収集したカスタムFace - Mask18Kデータセット（18,000枚の画像、2クラス）を用いて、解像度224x224で事前学習および微調整されたVision Transformer (ViT) モデルです。このモデルは、Touvronらによる論文「Training data - efficient image transformers & distillation through attention」、およびDosovitskiyらによる論文「An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale」で導入されました。

🚀 クイックスタート

このモデルは、顔マスク検出の画像分類タスクに使用できます。事前学習された重みを利用して、下流のタスクに適用することが可能です。

✨ 主な機能

• 顔マスク検出の画像分類に特化した事前学習済みモデル。
• 独自収集した18,000枚の画像データセットで微調整されている。
• 事前学習されたプーラーを含み、下流タスクに利用可能。

📚 ドキュメント

モデルの説明

Vision Transformer (ViT) は、教師あり学習で大量の画像コレクション（具体的にはImageNet - 21k）を用いて、解像度224x224ピクセルで事前学習されたトランスフォーマーエンコーダモデル（BERTのような）です。

画像は固定サイズのパッチ（解像度16x16）のシーケンスとしてモデルに入力され、線形埋め込みが行われます。分類タスクに使用するために、シーケンスの先頭に[CLS]トークンが追加されます。また、シーケンスをトランスフォーマーエンコーダのレイヤーに入力する前に、絶対位置埋め込みが追加されます。

なお、このモデルは微調整されたヘッドを提供していません。これはGoogleの研究者によってゼロ化されています。ただし、モデルには事前学習されたプーラーが含まれており、下流タスク（画像分類など）に使用できます。

事前学習により、モデルは画像の内部表現を学習し、下流タスクに有用な特徴を抽出するために利用できます。たとえば、ラベル付き画像のデータセットがある場合、事前学習されたエンコーダの上に線形レイヤーを配置して、標準的な分類器を学習させることができます。通常、[CLS]トークンの上に線形レイヤーを配置します。このトークンの最後の隠れ状態は、画像全体の表現と見なすことができます。

学習メトリクス

epoch                    =        0.89
total_flos               = 923776502GF
train_loss               =       0.057
train_runtime            =  0:40:10.40
train_samples_per_second =      23.943
train_steps_per_second   =       1.497

評価メトリクス

epoch                   =       0.89
eval_accuracy           =     0.9894
eval_loss               =     0.0395
eval_runtime            = 0:00:36.81
eval_samples_per_second =     97.685
eval_steps_per_second   =     12.224

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。