base_model:

• Qwen/Qwen2.5-VL-7B-Instruct license: apache-2.0 language:
• en pipeline_tag: image-text-to-text tags:
• multimodal
• unsloth library_name: transformers

Qwen2.5-VL-7B-Instruct

はじめに

Qwen2-VLのリリースから5ヶ月が経過し、多くの開発者がQwen2-VLのビジョン言語モデルを基に新たなモデルを構築し、貴重なフィードバックを提供してくれました。この期間、私たちはより有用なビジョン言語モデルの構築に注力してきました。そして今日、Qwenファミリーの最新メンバーであるQwen2.5-VLを紹介できることを嬉しく思います。

主な機能強化:

• 視覚的な理解: Qwen2.5-VLは花や鳥、魚、昆虫などの一般的な物体の認識に優れているだけでなく、画像内のテキスト、チャート、アイコン、グラフィック、レイアウトの分析にも高い能力を発揮します。

• エージェント機能: Qwen2.5-VLは視覚エージェントとして直接機能し、推論を行いツールを動的に操作できます。これにより、コンピュータやスマートフォンの使用が可能です。

• 長い動画の理解とイベントの捕捉: Qwen2.5-VLは1時間以上の動画を理解でき、今回は関連する動画セグメントを特定することでイベントを捕捉する新たな能力を備えています。

• 様々な形式での視覚的ローカライゼーション: Qwen2.5-VLは画像内の物体をバウンディングボックスやポイントで正確に特定でき、座標や属性の安定したJSON出力を提供します。

• 構造化された出力の生成: 請求書、フォーム、テーブルなどのデータスキャンに対して、Qwen2.5-VLはその内容を構造化して出力し、金融や商業などの用途に役立ちます。

モデルアーキテクチャの更新:

• 動画理解のための動的解像度とフレームレートトレーニング:

動的FPSサンプリングを採用することで、動的解像度を時間次元に拡張し、様々なサンプリングレートで動画を理解できるようにしました。これに伴い、mRoPEを時間次元でIDと絶対時間アライメントを用いて更新し、モデルが時間的なシーケンスと速度を学習し、最終的に特定の瞬間をピンポイントで特定する能力を獲得しました。

• 合理化された効率的なビジョンエンコーダ

ViTに戦略的にウィンドウアテンションを実装することで、トレーニングと推論の速度を向上させました。ViTアーキテクチャはSwiGLUとRMSNormでさらに最適化され、Qwen2.5 LLMの構造と整合しています。

私たちは3、7、72億パラメータの3つのモデルを用意しています。このリポジトリには、命令調整された7BのQwen2.5-VLモデルが含まれています。詳細については、ブログとGitHubをご覧ください。