base_model:

• Qwen/Qwen2.5-VL-32B-Instruct license: apache-2.0 language:
• en pipeline_tag: image-text-to-text tags:
• multimodal
• unsloth library_name: transformers

Qwen2.5-VL-32B-Instruct

最新の更新点:

元のモデルに加えて、強化学習を通じてQwen2.5-VL-32Bの数学的および問題解決能力をさらに強化しました。これにより、モデルの主観的なユーザー体験も大幅に向上し、応答スタイルが人間の好みに合わせて調整されました。特に数学、論理的推論、知識ベースのQ&Aなどの客観的なクエリに対して、回答の詳細レベルやフォーマットの明確さが顕著に向上しています。

紹介

Qwen2-VLのリリースから過去5ヶ月間、多くの開発者がQwen2-VLの視覚言語モデルを基に新しいモデルを構築し、貴重なフィードバックを提供してくれました。この期間、私たちはより有用な視覚言語モデルの構築に注力してきました。そして今日、Qwenファミリーの最新メンバーであるQwen2.5-VLを紹介できることを嬉しく思います。

主な強化点:

• 視覚的な理解: Qwen2.5-VLは花鳥風月などの一般的な物体の認識に優れているだけでなく、画像内のテキスト、チャート、アイコン、グラフィック、レイアウトの分析にも高い能力を発揮します。

• エージェント機能: Qwen2.5-VLは視覚エージェントとして直接機能し、推論を行いツールを動的に操作できます。コンピュータやスマートフォンの使用が可能です。

• 長い動画の理解とイベント捕捉: Qwen2.5-VLは1時間以上の動画を理解でき、今回は関連する動画セグメントを特定することでイベントを捕捉する新機能を備えています。

• 様々な形式での視覚的ローカライゼーション: Qwen2.5-VLはバウンディングボックスやポイントを生成することで画像内のオブジェクトを正確に特定でき、座標や属性の安定したJSON出力を提供します。

• 構造化された出力の生成: 請求書、フォーム、表などのデータスキャンに対して、Qwen2.5-VLはそれらの内容を構造化して出力し、金融や商業などの用途に役立ちます。

モデルアーキテクチャの更新:

• 動画理解のための動的解像度とフレームレートトレーニング:

動的FPSサンプリングを採用することで、動的解像度を時間次元に拡張し、モデルが様々なサンプリングレートで動画を理解できるようにしました。これに伴い、mRoPEを時間次元でIDと絶対時間アライメントで更新し、モデルが時間的シーケンスと速度を学習し、最終的に特定の瞬間を特定する能力を獲得できるようにしました。

• 合理化された効率的なビジョンエンコーダ

ViTに戦略的にウィンドウアテンションを実装することで、トレーニングと推論の速度を向上させました。ViTアーキテクチャはSwiGLUとRMSNormでさらに最適化され、Qwen2.5 LLMの構造に合わせられています。

3B、7B、32B、72Bの4つのパラメータサイズのモデルがあります。このリポジトリには、命令調整された32B Qwen2.5-VLモデルが含まれています。詳細については、ブログとGitHubをご覧ください。