Vit Receipts Classifier

🚀 收據分類視覺變換器模型

本模型是基於視覺變換器（ViT）的收據分類器，通過在多個數據集上微調預訓練模型，能夠高效準確地對圖像進行二元分類，判斷圖像是否為收據，在實際應用中具有重要價值。

🚀 快速開始

本模型是 google/vit-base-patch16-224-in21k 在 cord、rvl - cdip、visual - genome 和一個外部收據數據集上的微調版本，用於執行二元分類（ticket 與 no_ticket）。這裡的 “ticket” 是 “收據” 的同義詞。

該模型在評估集上取得了以下結果，評估集包含上述數據集的掃描、攝影或手機拍攝格式（彩色和灰度）的圖片：

• 損失值：0.0116
• F1值：0.9991

✨ 主要特性

模型描述

此模型是視覺變換器（ViT）的二元分類微調版本，用於預測輸入圖像是收據的圖片/掃描件還是其他內容。

預期用途與限制

使用此模型將圖像分類為收據或非收據。對於收據類別，你可以使用多模態信息提取技術（如視覺命名實體識別）來提取收據項目、金額、總計等信息。有關更多信息，請查看 Cord 數據集。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

訓練和評估數據

此模型使用以下兩個數據集作為正類（ticket）：

• cord
• https://expressexpense.com/blog/free-receipt-images-ocr-machine-learning-dataset/

對於負類（no_ticket），使用了以下數據集：

• RVL - CDIP 的一個子集
• visual - genome 的一個子集

訓練過程

數據集以不同的正負類數據分佈加載。然後進行歸一化和調整大小，以使其適應 ViT 的預期輸入。

通過改變數據分佈和超參數進行了多次訓練，以最大化 F1 值。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：0.0002
• 訓練批次大小：16
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 訓練輪數：1
• 混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.21.2
• Pytorch 1.11.0 + cu102
• Datasets 2.4.0
• Tokenizers 0.12.1

📄 許可證

本模型使用 Apache - 2.0 許可證。