Olmocr 7B 0225 Preview

🚀 olmOCR-7B-0225-preview

这是 olmOCR 模型的预览版本，该模型基于 olmOCR-mix-0225 数据集对 Qwen2-VL-7B-Instruct 进行微调得到。

快速链接：

• 📃 论文
• 🤗 数据集
• 🛠️ 代码
• 🎮 演示

使用此模型的最佳方式是通过 olmOCR 工具包。该工具包通过 sglang 提供了高效的推理设置，能够大规模处理数百万个文档。

🚀 快速开始

此模型期望输入为单个文档图像，且图像最长边需渲染为 1024 像素。

提示信息必须包含文档的额外元数据，生成这些元数据最简单的方法是使用 olmOCR 工具包 提供的方法。

✨ 主要特性

• 基于 Qwen2-VL-7B-Instruct 微调，结合特定数据集提升性能。
• 借助 olmOCR 工具包可高效处理大规模文档。

📦 安装指南

若要手动使用该模型，需先安装 olmOCR：

pip install olmocr

💻 使用示例

基础用法

若不使用 olmOCR 工具包，而是手动对该模型进行提示，请参考以下代码：

import torch
import base64
import urllib.request

from io import BytesIO
from PIL import Image
from transformers import AutoProcessor, Qwen2VLForConditionalGeneration

from olmocr.data.renderpdf import render_pdf_to_base64png
from olmocr.prompts import build_finetuning_prompt
from olmocr.prompts.anchor import get_anchor_text

# Initialize the model
model = Qwen2VLForConditionalGeneration.from_pretrained("allenai/olmOCR-7B-0225-preview", torch_dtype=torch.bfloat16).eval()
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# Grab a sample PDF
urllib.request.urlretrieve("https://molmo.allenai.org/paper.pdf", "./paper.pdf")

# Render page 1 to an image
image_base64 = render_pdf_to_base64png("./paper.pdf", 1, target_longest_image_dim=1024)

# Build the prompt, using document metadata
anchor_text = get_anchor_text("./paper.pdf", 1, pdf_engine="pdfreport", target_length=4000)
prompt = build_finetuning_prompt(anchor_text)

# Build the full prompt
messages = [
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": prompt},
                    {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_base64}"}},
                ],
            }
        ]

# Apply the chat template and processor
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
main_image = Image.open(BytesIO(base64.b64decode(image_base64)))

inputs = processor(
    text=[text],
    images=[main_image],
    padding=True,
    return_tensors="pt",
)
inputs = {key: value.to(device) for (key, value) in inputs.items()}


# Generate the output
output = model.generate(
            **inputs,
            temperature=0.8,
            max_new_tokens=50,
            num_return_sequences=1,
            do_sample=True,
        )

# Decode the output
prompt_length = inputs["input_ids"].shape[1]
new_tokens = output[:, prompt_length:]
text_output = processor.tokenizer.batch_decode(
    new_tokens, skip_special_tokens=True
)

print(text_output)
# ['{"primary_language":"en","is_rotation_valid":true,"rotation_correction":0,"is_table":false,"is_diagram":false,"natural_text":"Molmo and PixMo:\\nOpen Weights and Open Data\\nfor State-of-the']

📄 许可证

olmOCR 采用 Apache 2.0 许可证。该模型仅供研究和教育使用。更多信息请参阅我们的 负责任使用指南。