Visualheist Large

🚀 VisualHeist - PDFからのグラフ、模式図、表の分割（タイトル、ヘッダー、フッターを含む）

VisualHeistは、PDFから表とグラフを抽出するために微調整された物体検出モデルです。このモデルは、PDFファイルから表やグラフを正確に抽出するという難題を解決し、手動での処理を不要にし、作業効率を向上させます。

🚀 クイックスタート

このモデルを実行する方法については、githubリポジトリの詳細な説明を参照してください。

✨ 主な機能

• 複数のバージョン選択：VisualHeistには2つのバージョンがあり、visualheist-base（0.23B）とvisualheist-large（0.77B）です。低メモリのシステムで実行する場合は、ベースバージョンの使用をおすすめします。
• 微調整の基礎：このモデルは、microsoft/Florence - 2のチェックポイントを基に微調整されており、yifeihu/TF - IDからインスピレーションを得て改変されています。
• データソース：110の異なる出版社のPDF論文から取得した3435枚のグラフと1716個の表を使用して微調整されており、すべてのバウンディングボックスはCoCo Annotatorを使用して手動でアノテーションされています。
• 入力と出力：TF - IDモデルは、単一ページの論文の画像を入力とし、与えられたページ内のすべてのグラフ、模式図、表の画像ファイルを返します。

📚 ドキュメント

学習コードとデータセット

• データセット：Zenodoリポジトリ
• コード：github.com/aspuru - guzik - group/MERMaid

ベンチマークテスト

• 評価データセット：有機および無機化学、大気科学、電池、材料科学、金属有機フレームワーク（MOFs）、生物学、科学教育など、複数の主題をカバーする121篇の文献論文を含む多様な評価データセットを手動で整理しました。これらのPDF論文は1949年から2025年までの期間に発行されたもので、主論文と補足資料が含まれています。さらに、有機電合成、光触媒、有機合成という3つの異なる化学分野をカバーする、新しい反応方法を報告する98篇の文献論文（MERMaid - 100）も整理しました。
• 評価結果：visualheist - largeの評価結果は以下の通りです。 | カテゴリ | 総画像数 | F1スコア | |------|----------|--------| | 全て | 1935 | 93% | | 主論文 | 423 | 96% | | 2000年以前 | 260 | 93% | | 補足資料 | 1252 | 92% | | MERMaid - 100 | 100 | 99% |

より詳細な性能に関する議論はプレプリント論文を参照してください。完全なDOIリストはZenodoリポジトリからダウンロードできます。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

📖 BibTexと引用情報

<To be updated with our archive citation>