Pix2struct Base Table2html

🚀 pix2struct-base-table2html

表の画像をHTMLに変換します！

🚀 クイックスタート

このモデルは表の画像を入力として受け取り、HTMLを出力します。モデルは画像を解析し、光学文字認識（OCR）と構造認識を行い、HTML形式に変換します。

✨ 主な機能

• 表の画像をHTMLに変換することができます。
• モデルはPix2Struct base modelをベースに、max_patch_lengthを1024、max generation lengthを1024でファインチューニングされています。

📦 インストール

このライブラリはtransformersを使用しています。必要に応じてインストールしてください。

pip install transformers

💻 使用例

基本的な使用法

以下は、モデルをロードし、表の画像の例に対して推論を行う完全な例です（MMTabデータセットの例）。

import torch
from transformers import AutoProcessor, Pix2StructForConditionalGeneration
from PIL import Image
import requests
from io import BytesIO

# モデルとプロセッサをロード
device = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoProcessor.from_pretrained("KennethTM/pix2struct-base-table2html")
model = Pix2StructForConditionalGeneration.from_pretrained("KennethTM/pix2struct-base-table2html")
model.to(device)
model.eval()

# URLからサンプル画像をロード
url = "https://huggingface.co/KennethTM/pix2struct-base-table2html/resolve/main/example_recog_1.jpg"
response = requests.get(url)
image = Image.open(BytesIO(response.content))

# モデルの推論を実行
encoding = processor(image, return_tensors="pt", max_patches=1024)
with torch.inference_mode():
    flattened_patches = encoding.pop("flattened_patches").to(device)
    attention_mask = encoding.pop("attention_mask").to(device)
    predictions = model.generate(flattened_patches=flattened_patches, attention_mask=attention_mask, max_new_tokens=1024)

predictions_decoded = processor.tokenizer.batch_decode(predictions, skip_special_tokens=True)

# 予測結果をテキストとして表示
print(predictions_decoded[0])

高度な使用法

このモデルのmax_patch_lengthは推論時に変更しない方が良いですが、generation lengthは変更することができます。以下のようにmax_new_tokensを変更することができます。

# 推論時にmax_new_tokensを変更する例
predictions = model.generate(flattened_patches=flattened_patches, attention_mask=attention_mask, max_new_tokens=2048)

サンプル画像

サンプル画像に対するモデルのHTML出力

<table border="1" cellspacing="0">
 <tr>
  <th>
   Rank
  </th>
  <th>
   Lane
  </th>
  <th>
   Name
  </th>
  <th>
   Nationality
  </th>
  <th>
   Time
  </th>
  <th>
   Notes
  </th>
 </tr>
 <tr>
  <td>
  </td>
  <td>
   4
  </td>
  <td>
   Michael Phelps
  </td>
  <td>
   United States
  </td>
  <td>
   51.25
  </td>
  <td>
   OR
  </td>
 </tr>
 <tr>
  <td>
  </td>
  <td>
   3
  </td>
  <td>
   Ian Crocker
  </td>
  <td>
   United States
  </td>
  <td>
   51.29
  </td>
  <td>
  </td>
 </tr>
 <tr>
  <td>
  </td>
  <td>
   5
  </td>
  <td>
   Andriy Serdinov
  </td>
  <td>
   Ukraine
  </td>
  <td>
   51.36
  </td>
  <td>
   EU
  </td>
 </tr>
 <tr>
  <td>
   4
  </td>
  <td>
   1
  </td>
  <td>
   Thomas Rupprath
  </td>
  <td>
   Germany
  </td>
  <td>
   52.27
  </td>
  <td>
  </td>
 </tr>
 <tr>
  <td>
   5
  </td>
  <td>
   6
  </td>
  <td>
   Igor Marchenko
  </td>
  <td>
   Russia
  </td>
  <td>
   52.32
  </td>
  <td>
  </td>
 </tr>
 <tr>
  <td>
   6
  </td>
  <td>
   2
  </td>
  <td>
   Gabriel Mangabeira
  </td>
  <td>
   Brazil
  </td>
  <td>
   52.34
  </td>
  <td>
  </td>
 </tr>
 <tr>
  <td>
   7
  </td>
  <td>
   8
  </td>
  <td>
   Duje Draganja
  </td>
  <td>
   Croatia
  </td>
  <td>
   52.46
  </td>
  <td>
  </td>
 </tr>
 <tr>
  <td>
   8
  </td>
  <td>
   7
  </td>
  <td>
   Geoff Huegill
  </td>
  <td>
   Australia
  </td>
  <td>
   52.56
  </td>
  <td>
  </td>
 </tr>
</table>

レンダリングされたHTML表

📚 ドキュメント

デモアプリ

デモアプリを試してみてください。このアプリには表の検出と認識の両方が含まれています。

注意事項

• このモデルは、表のみを含む画像を想定しています。表が文書に埋め込まれている場合は、まず表検出モデルを使用して表を抽出してください（例：Microsoft's Table Transformer model）。
• 推論時には、max_patch_lengthを変更しないことをお勧めしますが、generation lengthは変更することができます。

訓練データ

このモデルは、2つのデータセットを使用して訓練されています。

• MMTab
• PubTabNet

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。