🚀 TF-ID:學術論文表格/圖片識別器
TF-ID(Table/Figure IDentifier)是一系列目標檢測模型,由胡逸飛創建,用於提取學術論文中的表格和圖片。該模型為學術研究和文檔處理提供了高效的表格與圖片識別解決方案,能精準定位並提取相關內容。
🚀 快速開始
使用以下代碼開始使用該模型:
import requests
from PIL import Image
from transformers import AutoProcessor, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("yifeihu/TF-ID-base", trust_remote_code=True)
prompt = "<OD>"
url = "https://huggingface.co/yifeihu/TF-ID-base/resolve/main/arxiv_2305_10853_5.png?download=true"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors="pt")
generated_ids = model.generate(
input_ids=inputs["input_ids"],
pixel_values=inputs["pixel_values"],
max_new_tokens=1024,
do_sample=False,
num_beams=3
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
parsed_answer = processor.post_process_generation(generated_text, task="<OD>", image_size=(image.width, image.height))
print(parsed_answer)
若要可視化結果,請參考此教程筆記本獲取更多詳細信息。
✨ 主要特性
- TF-ID有四個版本,可根據需求選擇是否提取圖片/表格的標題文本。
- 所有TF-ID模型均基於microsoft/Florence-2的檢查點進行微調。
- 模型以單頁學術論文的圖片作為輸入,輸出該頁面中所有表格和圖片的邊界框。
📚 詳細文檔
模型概述
TF-ID(Table/Figure IDentifier)是一系列用於提取學術論文中表格和圖片的目標檢測模型,由胡逸飛創建。它有四個版本:
模型 |
模型大小 |
模型描述 |
TF-ID-base[HF] |
0.23B |
提取表格/圖片及其標題文本 |
TF-ID-large[HF](推薦) |
0.77B |
提取表格/圖片及其標題文本 |
TF-ID-base-no-caption[HF] |
0.23B |
提取表格/圖片,不包含標題文本 |
TF-ID-large-no-caption[HF](推薦) |
0.77B |
提取表格/圖片,不包含標題文本 |
訓練相關
基準測試
在訓練數據集之外的論文頁面上對模型進行了測試,這些論文是Hugging Face每日論文的一個子集。
正確輸出定義為模型為給定頁面中的每個表格/圖片繪製正確的邊界框。
模型 |
總圖片數 |
正確輸出數 |
成功率 |
TF-ID-base[HF] |
258 |
251 |
97.29% |
TF-ID-large[HF] |
258 |
253 |
98.06% |
模型 |
總圖片數 |
正確輸出數 |
成功率 |
TF-ID-base-no-caption[HF] |
261 |
253 |
96.93% |
TF-ID-large-no-caption[HF] |
261 |
254 |
97.32% |
根據不同的使用場景,一些“不正確”的輸出可能仍然完全可用。例如,模型為一個包含兩個子組件的圖片繪製了兩個邊界框。
目標檢測結果格式
{'': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['label1', 'label2', ...]} }
BibTex引用信息
@misc{TF-ID,
author = {Yifei Hu},
title = {TF-ID: Table/Figure IDentifier for academic papers},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/ai8hyf/TF-ID}},
}
📄 許可證
本項目採用MIT許可證,詳情請見許可證鏈接。