QVQ 72B Preview AWQ

🚀 QVQ-72B-Preview AWQ 4ビット量子化バージョン

このリポジトリは、Qwenによって開発されたQVQ-72B-PreviewモデルのAWQ 4ビット量子化バージョンを提供しています。このモデルの重みは、量子化の前にゼロでパディングされており、除算可能性の制約を解消することで、マルチGPUテンソル並列処理との互換性を確保しています。パディングは計算にほとんど影響を与えず、複数のGPU間での効率的なスケーリングを可能にします。

🚀 クイックスタート

このセクションでは、QVQ-72B-Preview AWQ 4ビット量子化モデルの概要と利用方法について説明します。

✨ 主な機能

• 量子化技術の活用：AWQ 4ビット量子化を使用し、マルチGPUテンソル並列処理との互換性を確保しつつ、計算効率を向上させます。
• 優れたパフォーマンス：様々なベンチマークで高いスコアを記録し、多分野の理解と推論能力を示しています。

📚 ドキュメント

QVQ-72B-Preview

概要

QVQ-72B-Preview は、Qwenチームによって開発された実験的な研究モデルで、視覚的な推論能力の向上に焦点を当てています。

パフォーマンス

QVQ-72B-Preview は、様々なベンチマークで顕著なパフォーマンスを達成しています。Multimodal Massive Multi-task Understanding (MMMU) ベンチマークでは70.3%の高得点を記録し、QVQの多分野理解と推論能力を示しています。さらに、MathVisionでの大幅な改善は、モデルの数学的推論タスクでの進歩を示しています。OlympiadBenchも、モデルが難問を解く能力の向上を示しています。

モデルの制限事項

QVQ-72B-Preview は期待を超える有望なパフォーマンスを示していますが、いくつかの制限事項を認識することが重要です。

1. 言語の混合と切り替え：モデルは時々異なる言語を混合したり、予期せず言語を切り替えたりする可能性があり、応答の明瞭性に影響を与えることがあります。
2. 再帰的な推論ループ：モデルが再帰的な推論ループに陥るリスクがあり、最終的な答えに至らない長い応答を生成することがあります。
3. 安全性と倫理的な考慮事項：信頼性と安全性を確保するために、堅牢な安全対策が必要です。ユーザーはこのモデルをデプロイする際に注意を払う必要があります。
4. パフォーマンスとベンチマークの制限：視覚的な推論において改善が見られますが、QVQはQwen2-VL-72Bの機能を完全に置き換えるわけではありません。多段階の視覚的推論中に、モデルは画像内容に対する焦点を徐々に失い、幻覚を引き起こす可能性があります。また、QVQは人物、動物、植物の識別などの基本的な認識タスクでは、Qwen2-VL-72Bに比べて顕著な改善を示していません。

注意: 現在、このモデルは単一ラウンドの対話と画像出力のみをサポートしており、ビデオ入力はサポートしていません。

引用

もしあなたが私たちの研究が役立つと感じた場合は、以下のように引用してください。

@misc{qvq-72b-preview,
    title = {QVQ: To See the World with Wisdom},
    url = {https://qwenlm.github.io/blog/qvq-72b-preview/},
    author = {Qwen Team},
    month = {December},
    year = {2024}
}
@article{Qwen2VL,
  title={Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution},
  author={Wang, Peng and Bai, Shuai and Tan, Sinan and Wang, Shijie and Fan, Zhihao and Bai, Jinze and Chen, Keqin and Liu, Xuejing and Wang, Jialin and Ge, Wenbin and Fan, Yang and Dang, Kai and Du, Mengfei and Ren, Xuancheng and Men, Rui and Liu, Dayiheng and Zhou, Chang and Zhou, Jingren and Lin, Junyang},
  journal={arXiv preprint arXiv:2409.12191},
  year={2024}
}

📄 ライセンス

このモデルは、Qwenライセンスの下で提供されています。