Image Classification Using EANet

🚀 Image-Classification-using-EANet with Keras

このリポジトリには、Image Classification using EANet with Kerasに関するモデルとノートブックが含まれています。

クレジット: ZhiYong Chang - 原作者

HF貢献者: Drishti Sharma

🚀 クイックスタート

この例では、画像分類のためのEANetモデルを実装し、CIFAR - 100データセットでデモを行っています。EANetは、外部注意という新しい注意機構を導入しています。これは2つの外部の小さな学習可能な共有メモリに基づいており、2つの縦続線形層と2つの正規化層を使用するだけで簡単に実装できます。これにより、既存のアーキテクチャで使用されている自己注意を便利に置き換えることができます。外部注意は、すべてのサンプル間の相関関係を暗黙的にのみ考慮するため、線形の計算量を持ちます。

✨ 主な機能

EANetモデルは外部注意を活用しています。従来の自己注意の計算量はO(d * N ** 2)です（ここで、dは埋め込みサイズ、Nはパッチの数です）。著者らは、ほとんどのピクセルがわずかな他のピクセルと密接に関連しており、N対Nの注意行列が冗長であることを発見しました。そこで、彼らは代替案として外部注意モジュールを提案しています。外部注意の計算量はO(d * S * N)です。dとSはハイパーパラメータであるため、提案されたアルゴリズムはピクセル数に対して線形です。実際、これはドロップパッチ操作と同等です。なぜなら、画像のパッチに含まれる多くの情報は冗長で重要ではないからです。

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。