Segformer B0 Finetuned Segments Stamp Verification

🚀 segformer-b0-finetuned-segments-stamp-verification

このモデルは、nvidia/mit-b0 を bilal01/stamp-verification データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.0372
• 平均IoU: 0.1908
• 平均精度: 0.3817
• 全体精度: 0.3817
• 未ラベル精度: nan
• 切手精度: 0.3817
• 未ラベルIoU: 0.0
• 切手IoU: 0.3817

✨ 主な機能

モデルの説明

StampSegNetは、切手のセグメンテーション用に特別に設計されたカスタムデータセットでファインチューニングされたセマンティックセグメンテーションモデルです。強力なHugging Faceフレームワークをベースに、ディープラーニング技術を利用して、画像から切手を正確かつ効率的にセグメント化します。

このモデルは、画像の異なる領域を切手に属するものとそうでないものに識別・分類するように訓練されています。複雑なデザイン、境界、独特な色などの切手固有の特徴を理解することで、StampSegNetは画像内の切手の正確な境界を強調するピクセルレベルのセグメンテーションマップを生成することができます。

想定される用途と制限

• 切手コレクション管理：StampSegNetモデルは、切手コレクターや愛好家が画像から切手を自動的にセグメント化するために使用できます。切手を正確に識別して分離することで、切手コレクションの整理やカタログ化のプロセスを簡素化し、時間と労力を節約します。
• 電子商取引プラットフォーム：切手の売り手と買い手を対象としたオンラインマーケットプレイスやオークションプラットフォームは、StampSegNetモデルを統合してユーザー体験を向上させることができます。売り手は切手の画像を簡単にアップロードでき、モデルは自動的にセグメント化された切手を抽出して表示し、潜在的な買い手のための検索、分類、評価を容易にします。

ただし、StampSegNetは切手のセグメンテーションで高い性能を発揮しますが、大きく損傷したり隠された切手、異常な形状の切手、照明条件の悪い画像などのシナリオでは課題に直面する可能性があります。さらに、すべてのAIベースのモデルと同様に、訓練データに含まれるバイアスがセグメンテーション結果に影響を与える可能性があるため、倫理的な影響を慎重に評価して軽減する必要があります。

📦 インストール

訓練と評価データ

使用したデータセットはkaggleから取得しました。以下にリンクを示します。 {dataset}(https://www.kaggle.com/datasets/rtatman/stamp-verification-staver-dataset)

60個のサンプルを使用し、Segments.aiでアノテーションを付けました。

訓練手順

データ収集と準備

• 切手の画像とそれに対応するピクセルレベルのアノテーション（画像内の切手の領域を示す）を含む多様なデータセットを収集します。
• データセットには、さまざまな切手のデザイン、サイズ、色、背景、照明条件が含まれていることを確認します。
• データセットを訓練セットと検証セットに分割します。

モデルの選択と構成

• 切手のセグメンテーションタスクに適したセマンティックセグメンテーションモデルアーキテクチャを選択します。
• nvidia/mit-b0 を事前学習モデルとして使用し、それをファインチューニングします。
• モデルのアーキテクチャと必要なハイパーパラメータ（学習率、バッチサイズ、オプティマイザなど）を構成します。

訓練

• 初期化された重みを使用して、ラベル付きの切手データセットでモデルを訓練します。
• セマンティックセグメンテーションタスクに適した損失関数（交差エントロピー損失やDice損失など）を使用します。
• ミニバッチ確率的勾配降下法（SGD）またはAdamなどのオプティマイザを使用して、モデルのパラメータを更新します。
• ピクセル精度、平均IoU、F1スコアなどの指標を計算して、訓練の進捗状況を監視します。

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 6e-05
• 訓練バッチサイズ: 2
• 評価バッチサイズ: 2
• シード: 42
• オプティマイザ: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラタイプ: 線形
• エポック数: 20

訓練結果

フレームワークバージョン

• Transformers 4.28.0
• Pytorch 2.0.0+cu118
• Datasets 2.12.0
• Tokenizers 0.13.3

📄 ライセンス

Other