Vit Receipts Classifier

🚀 vit_receipts_classifier

このモデルは、google/vit-base-patch16-224-in21k を cord、rvl-cdip、visual-genome および外部のレシートデータセットでファインチューニングしたもので、Binary Classification（ticket 対 no_ticket）を行うことができます。

ここでの "ticket" は "レシート" の同義語として使用されています。

スキャン、写真、またはモバイル画像形式（カラーおよびグレースケール）の上記データセットの画像を含む評価セットで、以下の結果を達成しています。

• 損失: 0.0116
• F1: 0.9991

✨ 主な機能

モデルの説明

このモデルは、ViT をファインチューニングした二値分類器で、入力画像がレシートの画像/スキャンか、それ以外かを予測します。

想定される用途と制限

このモデルを使用して、画像を ticket または no_ticket に分類できます。ticket グループでは、Visual Named Entity Recognition などのマルチモーダル情報抽出を使用して、チケットの項目、金額、合計などを抽出できます。詳細については、Cord データセットを参照してください。

📦 インストール

原文書にインストール手順に関する具体的な内容がありませんので、このセクションは省略します。

📚 ドキュメント

学習と評価データ

このモデルは、正のクラス（ticket）として2つのデータセットを使用しています。

• cord
• https://expressexpense.com/blog/free-receipt-images-ocr-machine-learning-dataset/

負のクラス（no_ticket）として、以下のデータセットが使用されています。

• RVL-CDIP のサブセット
• visual-genome のサブセット

学習手順

データセットは、正と負のクラスに対して異なるデータ分布でロードされました。その後、正規化とリサイズを行い、ViT の期待する入力に適合させます。

データ分布とハイパーパラメータを変更して異なる実行を行い、F1 を最大化しました。

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 0.0002
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 1
• mixed_precision_training: Native AMP

学習結果

フレームワークのバージョン

• Transformers 4.21.2
• Pytorch 1.11.0+cu102
• Datasets 2.4.0
• Tokenizers 0.12.1

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。