Internvit 6B 448px V1 0

🚀 InternViT-6B-448px-V1-0

InternViT-6B-448px-V1-0は画像特徴抽出のためのモデルで、InternVL-Chat-V1-1に統合されています。この更新では、解像度を448x448に引き上げ、OCR機能を強化し、中国語会話のサポートを改善しています。

🚀 クイックスタート

⚠️ 重要提示

私たちの経験では、InternViT V2.5シリーズは従来のコンピュータビジョンタスクよりもMLLMの構築に適しています。

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

model = AutoModel.from_pretrained(
    'OpenGVLab/InternViT-6B-448px-V1-0',
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True).cuda().eval()

image = Image.open('./examples/image1.jpg').convert('RGB')

image_processor = CLIPImageProcessor.from_pretrained('OpenGVLab/InternViT-6B-448px-V1-0')

pixel_values = image_processor(images=image, return_tensors='pt').pixel_values
pixel_values = pixel_values.to(torch.bfloat16).cuda()

outputs = model(pixel_values)

✨ 主な機能

• 解像度を448x448に引き上げ、画像の詳細な特徴抽出が可能。
• OCR機能を強化し、文字認識の精度向上。
• 中国語会話のサポートを改善。

📦 インストール

コード内でtransformersライブラリを使用していますので、以下のコマンドでインストールしてください。

pip install transformers torch pillow

📚 ドキュメント

• 📂 GitHub
• 📜 InternVL 1.0
• 📜 InternVL 1.5
• 📜 Mini-InternVL
• 📜 InternVL 2.5
• 🆕 Blog
• 🗨️ Chat Demo
• 🤗 HF Demo
• 📖 Documents

🔧 技術詳細

モデル情報

注意事項

このモデルは48個のブロックを持っており、MLLMには最後から4番目のブロックの出力を使用するのが最適であることがわかっています。したがって、このモデルでMLLMを構築する場合は、最後から4番目のレイヤーの特徴量を使用してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

もしこのプロジェクトがあなたの研究に役立った場合は、以下の文献を引用してください。

@article{chen2024expanding,
  title={Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling},
  author={Chen, Zhe and Wang, Weiyun and Cao, Yue and Liu, Yangzhou and Gao, Zhangwei and Cui, Erfei and Zhu, Jinguo and Ye, Shenglong and Tian, Hao and Liu, Zhaoyang and others},
  journal={arXiv preprint arXiv:2412.05271},
  year={2024}
}
@article{gao2024mini,
  title={Mini-internvl: A flexible-transfer pocket multimodal model with 5\% parameters and 90\% performance},
  author={Gao, Zhangwei and Chen, Zhe and Cui, Erfei and Ren, Yiming and Wang, Weiyun and Zhu, Jinguo and Tian, Hao and Ye, Shenglong and He, Junjun and Zhu, Xizhou and others},
  journal={arXiv preprint arXiv:2410.16261},
  year={2024}
}
@article{chen2024far,
  title={How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites},
  author={Chen, Zhe and Wang, Weiyun and Tian, Hao and Ye, Shenglong and Gao, Zhangwei and Cui, Erfei and Tong, Wenwen and Hu, Kongzhi and Luo, Jiapeng and Ma, Zheng and others},
  journal={arXiv preprint arXiv:2404.16821},
  year={2024}
}
@inproceedings{chen2024internvl,
  title={Internvl: Scaling up vision foundation models and aligning for generic visual-linguistic tasks},
  author={Chen, Zhe and Wu, Jiannan and Wang, Wenhai and Su, Weijie and Chen, Guo and Xing, Sen and Zhong, Muyan and Zhang, Qinglong and Zhu, Xizhou and Lu, Lewei and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={24185--24198},
  year={2024}
}