Image Classification Using EANet

🚀 基於Keras的EANet圖像分類

本項目包含了基於Keras的使用EANet進行圖像分類的模型和相關筆記本。

原作者：ZhiYong Chang

Hugging Face貢獻者：Drishti Sharma

✨ 主要特性

• 模型類型：tf-keras
• 評估指標：準確率
• 標籤：tensorflow、image-classification
• 關聯庫：TensorBoard

🚀 快速開始

本示例實現了用於圖像分類的EANet模型，並在CIFAR - 100數據集上進行了演示。EANet引入了一種名為外部注意力的新型注意力機制，它基於兩個外部的、小型的、可學習的且共享的記憶模塊，只需使用兩個級聯的線性層和兩個歸一化層即可輕鬆實現。它可以方便地替代現有架構中使用的自注意力機制。外部注意力具有線性複雜度，因為它僅隱式地考慮了所有樣本之間的相關性。

🔧 技術細節

EANet模型的實現

EANet模型採用了外部注意力機制。傳統自注意力的計算複雜度為O(d * N ** 2)，其中d是嵌入大小，N是圖像塊的數量。研究人員發現，大多數像素僅與少數其他像素密切相關，N對N的注意力矩陣可能是冗餘的。因此，他們提出了一種替代方案——外部注意力模塊，其計算複雜度為O(d * S * N)。由於d和S是超參數，該算法在像素數量上呈線性關係。實際上，這相當於一種丟棄圖像塊的操作，因為圖像中一個圖像塊包含的許多信息是冗餘且不重要的。

📄 許可證

本項目採用Apache - 2.0許可證。