Coreocr 7B 050325 Preview

🚀 coreOCR-7B-050325-preview

coreOCR-7B-050325-previewモデルは、Qwen/Qwen2-VL-7Bをファインチューニングしたバージョンです。このモデルは、文書レベルの光学式文字認識（OCR）、長文脈のビジョン言語理解、および数学的なLaTeX形式を含む正確な画像からテキストへの変換に最適化されています。高忠実度の視覚的・テキスト的理解を重視して設計され、文書解析、構造化データ抽出、および複雑な視覚的推論を強化します。

🚀 クイックスタート

Transformersを使用したクイックスタート

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "prithivMLmods/coreOCR-7B-050325-preview", torch_dtype="auto", device_map="auto"
)

processor = AutoProcessor.from_pretrained("prithivMLmods/coreOCR-7B-050325-preview")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

✨ 主な機能

• 高度な文書レベルのOCR：請求書、フォーム、研究論文などの複雑な多ページ文書から構造化テキストを正確に処理および抽出します。
• 強化された長文脈のビジョン言語理解：文書やマルチメディア入力（濃密なテキストブロック、図、数学コンテンツを含む）からの長文テキストの検索と推論をサポートします。
• あらゆる画像解像度での最先端の理解：MathVista、DocVQA、RealWorldQA、MTVQAなどの視覚ベンチマークで最先端の結果を達成します。
• 20分以上のビデオ理解：長いビデオシーケンスからの高品質のビデオベースの質問応答、対話生成、およびコンテンツ要約が可能です。
• 視覚コマンドによるデバイス制御：複雑な推論と知覚能力を備え、携帯電話やロボットなどのデバイスと統合して視覚に基づく自動化を実現できます。

🔧 技術詳細

学習詳細

⚠️ 重要提示

オープンデータセットの画像テキスト応答は近日更新予定です。

📚 ドキュメント

想定される用途

このモデルは以下の用途を想定しています。

• スキャン画像、PDF、およびカメラ入力からの文書分析とOCR。
• 画像ベースの質問応答（例：教育コンテンツ、図、レシート）。
• 手書きまたは印刷された数学コンテンツからの数学問題解決とLaTeXテキスト生成。
• マルチスライド文書検索や濃密な情報抽出などの長文脈のビジョンテキストアプリケーション。
• 多言語ビジネス文書やグローバルデータのデジタル化のための多言語OCRワークフロー。
• 視覚的コンテキストを通じたモバイル/ロボットインタラクション用のAIエージェント。

制限事項

• 非常にノイズの多いまたは低解像度の画像では性能が低下する可能性があります。
• モデルサイズとメモリ要求のため、エッジデバイスでのリアルタイム推論には適していません。
• 多言語対応ですが、低リソースまたは希少な文字体系での性能は異なる場合があります。
• 制約された環境でのビデオストリームの高速処理には最適化されていません。
• 文脈理解は視覚トークン化パラメータに依存しており、不適切な設定は出力品質に影響を与える可能性があります。
• 長文脈のクエリでは、出力に幻覚や不完全な回答が含まれることがあります。

参考文献

• DocVLM: Make Your VLM an Efficient Reader https://arxiv.org/pdf/2412.08746v1

• YaRN: Efficient Context Window Extension of Large Language Models
  https://arxiv.org/pdf/2309.00071

• Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at Any Resolution
  https://arxiv.org/pdf/2409.12191

• Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
  https://arxiv.org/pdf/2308.12966

• A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy https://arxiv.org/pdf/2412.02210

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。