vit-顔表情認識オープンソースモデル - 7種類の表情分類をサポートする顔表情認識

Vit Facial Expression Recognition

mo-thecreatorによって開発

ViTベースの顔表情認識モデルで、FER2013、MMI、AffectNetデータセットで微調整され、7種類の感情分類をサポート

ダウンロード数 8,730

リリース時間 : 4/29/2024

モデル概要

このモデルは視覚Transformer(ViT)アーキテクチャに基づく顔感情認識モデルで、怒り、嫌悪、恐怖、喜び、悲しみ、驚き、中立の7つの基本感情を分類するように設計されています。

複数データセット統合訓練

FER2013、MMI、AffectNetの3つの顔表情データセットを組み合わせて訓練し、モデルの汎化能力を向上

効率的な視覚Transformerアーキテクチャ

ViT基本アーキテクチャを採用し、16x16画像ブロック処理により224x224解像度で効率的な特徴抽出を実現

最適化された訓練戦略

コサインアニーリング学習率スケジューリングとウォームアップ戦略を使用し、Adamオプティマイザーと組み合わせて安定した訓練を実現

顔感情認識

7つの基本感情分類

静止画感情分析

人間とコンピュータの相互作用

感情感知システム

スマートデバイスの感情感知インターフェースに使用され、ユーザーの表情に基づいてインタラクション方法を調整

精度84.34%

メンタルヘルス

感情状態モニタリング

心理医師や介護者が患者の感情変化をモニタリングするのを支援

このモデルは、FER 2013、MMI Facial Expression Database、および AffectNet dataset データセット上で、google/vit-base-patch16-224-in21k をファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

vit-face-expression モデルは、顔の感情認識タスク用にファインチューニングされた Vision Transformer です。

このモデルは、FER2013、MMI Facial Expression、および AffectNet データセットで訓練されており、これらのデータセットは、7 つの異なる感情に分類された顔画像で構成されています。

入力画像は、モデルに入力される前に前処理されます。前処理ステップには以下が含まれます。

訓練中には以下のハイパーパラメータが使用されました。