Docscopeocr 7B 050425 Exp

🚀 docscopeOCR-7B-050425-exp

docscopeOCR-7B-050425-expモデルは、Document-Level Optical Character Recognition (OCR)、長文脈のビジョン言語理解、数学的なLaTeX形式を持つ正確な画像からテキストへの変換に最適化された、Qwen/Qwen2.5-VL-7B-Instructのファインチューニング版です。このモデルは、Qwen2.5-VLアーキテクチャをベースに構築され、多様な入力形式に対する文書理解、構造化データ抽出、および視覚的推論を大幅に向上させます。

🚀 クイックスタート

以下は、Transformersを使用したクイックスタートのコード例です。

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "prithivMLmods/docscopeOCR-7B-050425-exp", torch_dtype="auto", device_map="auto"
)

processor = AutoProcessor.from_pretrained("prithivMLmods/docscopeOCR-7B-050425-exp")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

✨ 主な機能

• 高度な文書レベルのOCR：請求書、学術論文、フォーム、スキャンレポートなどの複雑な多ページ文書から構造化コンテンツを抽出できます。
• 強化された長文脈のビジョン言語理解：密集した文書レイアウト、埋め込まれた長いテキストシーケンス、表、および図を一貫した相互参照理解で処理するように設計されています。
• あらゆる解像度での最先端のパフォーマンス：DocVQA、MathVista、RealWorldQA、MTVQAなどのOCRおよび視覚的QAベンチマークで競争力のある結果を達成します。
• 20分以上のビデオ理解：コンテンツ要約、質問応答、およびマルチモーダル推論のための長時間ビデオの詳細な理解をサポートします。
• 視覚に基づくデバイスインタラクション：コンテキスト理解と意思決定ロジックを使用して、視覚入力とテキストベースの指示によるモバイル/ロボットデバイスの操作を可能にします。

📚 ドキュメント

想定される使用方法

このモデルは以下の用途を想定しています。

• 文書、フォーム、レシート、印刷またはスキャンされた資料からの高精度OCR。
• 教育および企業アプリケーション向けの画像および文書ベースの質問応答。
• 印刷または手書きのコンテンツからの数学的式の抽出とLaTeX形式への変換。
• 長文書、スライド、およびマルチモーダル入力からの検索と要約。
• グローバルなユースケース向けの多言語OCRと構造化コンテンツ抽出。
• 視覚ガイドによるコンテキストインタラクションを備えたロボットまたはモバイル自動化。

制限事項

• 極端に低品質または遮蔽された画像では性能が低下する可能性があります。
• 計算負荷のため、低リソースまたはエッジデバイスでのリアルタイムアプリケーションには最適化されていません。
• まれな言語や低リソースの言語/文字体系では精度が異なる場合があります。
• 長いビデオ処理には大量のメモリが必要であり、ストリーミングアプリケーションには最適化されていません。
• 視覚トークンの設定が性能に影響を与えます。最適でない設定は結果に影響を与える可能性があります。
• まれなケースでは、出力に幻想的なまたは文脈的に不整合な情報が含まれることがあります。

🔧 技術詳細

学習詳細

⚠️ 重要提示

オープンデータセットの画像テキスト応答は近日更新予定です。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📖 参考文献

• DocVLM: Make Your VLM an Efficient Reader https://arxiv.org/pdf/2412.08746v1
• YaRN: Efficient Context Window Extension of Large Language Models
  https://arxiv.org/pdf/2309.00071
• Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at Any Resolution
  https://arxiv.org/pdf/2409.12191
• Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
  https://arxiv.org/pdf/2308.12966
• A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy https://arxiv.org/pdf/2412.02210