Image Classification Using EANet

🚀 基于Keras的EANet图像分类

本项目包含了基于Keras的使用EANet进行图像分类的模型和相关笔记本。

原作者：ZhiYong Chang

Hugging Face贡献者：Drishti Sharma

✨ 主要特性

• 模型类型：tf-keras
• 评估指标：准确率
• 标签：tensorflow、image-classification
• 关联库：TensorBoard

🚀 快速开始

本示例实现了用于图像分类的EANet模型，并在CIFAR - 100数据集上进行了演示。EANet引入了一种名为外部注意力的新型注意力机制，它基于两个外部的、小型的、可学习的且共享的记忆模块，只需使用两个级联的线性层和两个归一化层即可轻松实现。它可以方便地替代现有架构中使用的自注意力机制。外部注意力具有线性复杂度，因为它仅隐式地考虑了所有样本之间的相关性。

🔧 技术细节

EANet模型的实现

EANet模型采用了外部注意力机制。传统自注意力的计算复杂度为O(d * N ** 2)，其中d是嵌入大小，N是图像块的数量。研究人员发现，大多数像素仅与少数其他像素密切相关，N对N的注意力矩阵可能是冗余的。因此，他们提出了一种替代方案——外部注意力模块，其计算复杂度为O(d * S * N)。由于d和S是超参数，该算法在像素数量上呈线性关系。实际上，这相当于一种丢弃图像块的操作，因为图像中一个图像块包含的许多信息是冗余且不重要的。

📄 许可证

本项目采用Apache - 2.0许可证。