オープンソースlayoutlmv3-finetuned-wildreceiptモデル - 無料でデプロイしてレシートの重要情報を正確に抽出

ホーム

Layoutlmv3 Finetuned Wildreceipt

Theivaprakashamによって開発

LayoutLMv3-baseモデルをWildReceipt領収書データセットでファインチューンしたバージョンで、領収書のキー情報抽出タスクに使用されます

文字認識

Transformers

#領収書のキー情報抽出 #高精度OCR #ドキュメント理解

ダウンロード数 118

リリース時間 : 6/11/2022

モデル概要

このモデルは領収書画像から構造化された情報を抽出するために特別に設計されており、日付、金額、店舗情報など25のキーフィールドカテゴリを認識できます

モデル特徴

高精度領収書解析

WildReceiptテストセットで0.8785のF1値を達成し、領収書内のキー情報を正確に識別できます

マルチモーダル理解

テキストとレイアウト情報を組み合わせて統合的に理解し、領収書のような構造化ドキュメントの処理能力を向上させます

エンドツーエンドトレーニング

複雑な前処理プロセスなしに、元の領収書画像から直接エンドツーエンドでトレーニングできます

モデル能力

領収書情報抽出

テキストエンティティ認識

ドキュメントレイアウト理解

構造化データ生成

使用事例

財務自動化

経費精算処理

従業員が提出した領収書から自動的にキー精算情報を抽出します

手動入力エラーを減らし、精算処理効率を向上させます

小売分析

消費データ分析

大量の領収書から構造化された消費データを抽出し、ビジネス分析に利用します

事業者が消費パターンやトレンドを理解するのに役立ちます

🚀 layoutlmv3-finetuned-wildreceipt

このモデルは、wild_receiptデータセットでmicrosoft/layoutlmv3-baseをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

損失: 0.3108
適合率: 0.8772
再現率: 0.8799
F1スコア: 0.8785
正解率: 0.9249

📚 詳細ドキュメント

モデルの概要

このモデルは、wild_receiptデータセットを用いてmicrosoft/layoutlmv3-baseをファインチューニングしたものです。

想定される用途と制限

詳細な情報はありません。

学習と評価データ

WildReceiptデータセットは1740枚のレシート画像で構成され、25の重要情報カテゴリを含み、合計約69000個のテキストボックスがあります。それぞれ1268枚と472枚の画像が、重要情報抽出のためのLayoutLMv3モデルの学習とテストに使用されます。

学習手順

学習コード: https://github.com/Theivaprakasham/layoutlmv3/blob/main/training_codes/LayoutLMv3_training_WildReceipts_dataset.ipynb

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

学習率: 1e-05
学習バッチサイズ: 4
評価バッチサイズ: 4
シード: 42
オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
学習率スケジューラの種類: linear
学習ステップ数: 4000

学習結果

学習損失	エポック	ステップ	検証損失	適合率	再現率	F1スコア	正解率
ログなし	0.32	100	1.3143	0.6709	0.2679	0.3829	0.6700
ログなし	0.63	200	0.8814	0.6478	0.5195	0.5766	0.7786
ログなし	0.95	300	0.6568	0.7205	0.6491	0.6829	0.8303
ログなし	1.26	400	0.5618	0.7544	0.7072	0.7300	0.8519
1.0284	1.58	500	0.5003	0.7802	0.7566	0.7682	0.8687
1.0284	1.89	600	0.4454	0.7941	0.7679	0.7807	0.8748
1.0284	2.21	700	0.4314	0.8142	0.7928	0.8033	0.8852
1.0284	2.52	800	0.3870	0.8172	0.8200	0.8186	0.8953
1.0284	2.84	900	0.3629	0.8288	0.8369	0.8329	0.9025
0.4167	3.15	1000	0.3537	0.8540	0.8200	0.8366	0.9052
0.4167	3.47	1100	0.3383	0.8438	0.8285	0.8361	0.9063
0.4167	3.79	1200	0.3403	0.8297	0.8493	0.8394	0.9062
0.4167	4.1	1300	0.3271	0.8428	0.8545	0.8487	0.9110
0.4167	4.42	1400	0.3182	0.8491	0.8518	0.8504	0.9131
0.2766	4.73	1500	0.3111	0.8491	0.8539	0.8515	0.9129
0.2766	5.05	1600	0.3177	0.8397	0.8620	0.8507	0.9124
0.2766	5.36	1700	0.3091	0.8676	0.8548	0.8612	0.9191
0.2766	5.68	1800	0.3080	0.8508	0.8645	0.8576	0.9162
0.2766	5.99	1900	0.3059	0.8492	0.8662	0.8576	0.9163
0.2114	6.31	2000	0.3184	0.8536	0.8657	0.8596	0.9147
0.2114	6.62	2100	0.3161	0.8583	0.8713	0.8648	0.9184
0.2114	6.94	2200	0.3055	0.8707	0.8682	0.8694	0.9220
0.2114	7.26	2300	0.3004	0.8689	0.8745	0.8717	0.9219
0.2114	7.57	2400	0.3111	0.8701	0.8720	0.8711	0.9211
0.174	7.89	2500	0.3130	0.8599	0.8741	0.8669	0.9198
0.174	8.2	2600	0.3034	0.8661	0.8748	0.8704	0.9219
0.174	8.52	2700	0.3005	0.8799	0.8673	0.8736	0.9225
0.174	8.83	2800	0.3043	0.8687	0.8804	0.8745	0.9240
0.174	9.15	2900	0.3121	0.8776	0.8704	0.8740	0.9242
0.1412	9.46	3000	0.3131	0.8631	0.8755	0.8692	0.9204
0.1412	9.78	3100	0.3067	0.8715	0.8773	0.8744	0.9233
0.1412	10.09	3200	0.3021	0.8751	0.8812	0.8782	0.9248
0.1412	10.41	3300	0.3092	0.8651	0.8808	0.8729	0.9228
0.1412	10.73	3400	0.3084	0.8776	0.8749	0.8762	0.9237
0.1254	11.04	3500	0.3156	0.8738	0.8785	0.8761	0.9237
0.1254	11.36	3600	0.3131	0.8723	0.8818	0.8770	0.9244
0.1254	11.67	3700	0.3108	0.8778	0.8781	0.8780	0.9250
0.1254	11.99	3800	0.3097	0.8778	0.8771	0.8775	0.9239
0.1254	12.3	3900	0.3115	0.8785	0.8801	0.8793	0.9251
0.111	12.62	4000	0.3108	0.8772	0.8799	0.8785	0.9249

フレームワークのバージョン

Transformers 4.20.0.dev0
Pytorch 1.11.0+cu113
Datasets 2.2.2
Tokenizers 0.12.1

属性	详情
モデルタイプ	layoutlmv3-finetuned-wildreceipt
学習データ	WildReceiptデータセット（1740枚のレシート画像、25の重要情報カテゴリ、約69000個のテキストボックス）