Vit Finetuned Food101

🚀 视觉变换器（ViT）微调食品分类模型

本模型基于视觉变换器（ViT）架构，在Food - 101数据集上对基础模型进行微调，可将图像精准分类到101种不同的食品类别中，适用于饮食跟踪、餐厅菜单分析等多种食品相关应用场景。

🚀 快速开始

本模型是在Food - 101数据集上对[google/vit - base - patch16 - 224 - in21k](https://huggingface.co/google/vit - base - patch16 - 224 - in21k)进行微调后的版本。视觉变换器（ViT）架构用于图像分类任务，尤其擅长识别和分类食品。

模型详情

✨ 主要特性

性能表现

该模型在评估集上取得了以下结果：

• 损失值：1.6262
• 准确率：89.6%

预期用途与局限性

预期用例

• 图像分类：该模型旨在将图像分类到101种食品类别中，适用于饮食跟踪中的食品识别、餐厅菜单分析或食品相关搜索引擎等应用。

局限性

• 数据集偏差：当应用于与Food - 101数据集中显著不同的食品图像时，例如非西方美食或在非标准条件下拍摄的图像，模型的性能可能会下降。
• 泛化能力：虽然该模型在Food - 101数据集上表现良好，但不能保证其能够泛化到其他食品相关任务或数据集。
• 输入尺寸：该模型期望输入图像的尺寸为224x224像素。不同尺寸的图像应相应调整大小。

训练和评估数据

该模型在Food - 101数据集上进行了微调，该数据集包含101,000张图像，涵盖101种不同的食品类别。每个类别包含1,000张图像，其中750张用于训练，250张用于测试。该数据集包含各种食品，但可能偏向某些菜系或食品类型。

训练过程

训练超参数

该模型使用以下超参数进行微调：

• 学习率：5e - 05
• 训练批次大小：16
• 评估批次大小：16
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：64
• 优化器：Adam，β=(0.9, 0.999)，ε = 1e - 08
• 学习率调度器：线性，热身比例为0.1
• 训练轮数：3

训练结果

框架版本

• Transformers：4.42.4
• PyTorch：2.4.0+cu121
• Datasets：2.21.0
• Tokenizers：0.19.1

💻 使用示例

基础用法

要使用此模型进行推理，您可以从Food - 101数据集中加载图像并进行分类，示例代码如下：

from datasets import load_dataset
from transformers import pipeline
from PIL import Image
import requests
from io import BytesIO

# 从互联网加载示例图像
image_url = "https://example.com/path-to-your-image.jpg"  # 替换为您的图像URL
response = requests.get(image_url)
image = Image.open(BytesIO(response.content))

# 加载微调后的图像分类模型
classifier = pipeline(
    "image-classification",
    model="ashaduzzaman/vit-finetuned-food101"
)

# 进行推理
result = classifier(image)
print(result)

🔧 技术细节

伦理考量

• 偏差：Food - 101数据集主要由流行的西方菜肴组成，这可能会在模型对非西方食品的预测中引入偏差。
• 隐私：在应用中使用此模型时，请确保图像的来源符合伦理道德，并尊重隐私问题。

引用

如果您在工作中使用此模型，请按以下方式引用：

@misc{vit_finetuned_food101,
  author = {Ashaduzzaman},
  title = {ViT Fine-tuned on Food-101},
  year = {2024},
  url = {https://huggingface.co/ashaduzzaman/vit-finetuned-food101},
}

📄 许可证

本项目采用Apache - 2.0许可证。