MMICL Instructblip T5 Xxl

🚀 MMICL模型卡片

MMICL（Multi-Modal In-Context Learning）是一个融合了blip2/instrcutblip的多模态视觉语言模型。它能够分析和理解多图像，还能遵循指令，在复杂视觉推理数据集上表现出色。

🚀 快速开始

最新消息

1. [09-19] 我们已将MMICL演示转换为永久链接：MMICL演示。MMICL的Vicuna版本和聊天模式目前正在开发中，可能需要仔细调整生成参数，且可能无法正常工作。
2. [09-15] 我们的论文已上传至arXiv。
3. [09-01] MIC数据已在huggingface hub上发布。
4. [08-23] 在MME上排名第1，在MMBench上排名第1。
5. [08-21] MMICL-FLANT5XXL和MMICL-Tiny模型已在huggingface hub上发布。

MMICL临时演示

MMICL-FLANT5XXL在线演示，支持多图像输入和视频输入。

✨ 主要特性

• 多图像引用和推理能力：能够分析和理解多个图像，并进行推理。
• 手动构建的上下文指令调优数据集：有助于模型更好地遵循指令。
• 优异的性能表现：截至2023年8月21日，在多模态任务排行榜和广泛的视觉语言任务中达到了最先进的性能，在MME和MMBench上均排名第1。
• 丰富的模型配置：
  • 视觉编码器：CLIP的VIT - L / EVA - CLIP的ViT - G/14
  • 预训练大语言模型：FlanT5 - XL/FlanT5 - XXL/Vicuna - 7B/Vicuna - 13B

📦 安装指南

文档中未提及具体安装步骤，暂无法提供。

💻 使用示例

基础用法

# For T5 based model
from model.instructblip import InstructBlipConfig, InstructBlipModel, InstructBlipPreTrainedModel,InstructBlipForConditionalGeneration,InstructBlipProcessor
import datasets
import json
import transformers
from PIL import Image
import torch
model_type="instructblip"
model_ckpt="BleachNick/MMICL-Instructblip-T5-xxl"
processor_ckpt = "Salesforce/instructblip-flan-t5-xxl"
config = InstructBlipConfig.from_pretrained(model_ckpt )

if 'instructblip' in model_type:
    model = InstructBlipForConditionalGeneration.from_pretrained(
        model_ckpt,
        config=config).to('cuda:0',dtype=torch.bfloat16) 

image_palceholder="图"
sp = [image_palceholder]+[f"<image{i}>" for i in range(20)]
processor = InstructBlipProcessor.from_pretrained(
    processor_ckpt
)
sp = sp+processor.tokenizer.additional_special_tokens[len(sp):]
processor.tokenizer.add_special_tokens({'additional_special_tokens':sp})
if model.qformer.embeddings.word_embeddings.weight.shape[0] != len(processor.qformer_tokenizer):
    model.qformer.resize_token_embeddings(len(processor.qformer_tokenizer))
replace_token="".join(32*[image_palceholder])


image = Image.open ("images/cal_num1.png")
image1 = Image.open ("images/cal_num2.png")
image2 = Image.open ("images/cal_num3.png")
images = [image,image1,image2]

prompt = [f'Use the image 0: <image0>{replace_token},image 1: <image1>{replace_token} and image 2: <image2>{replace_token} as a visual aid to help you calculate the equation accurately. image 0 is 2+1=3.\nimage 1 is 5+6=11.\nimage 2 is"']
prompt = " ".join(prompt)

inputs = processor(images=images, text=prompt, return_tensors="pt")

inputs['pixel_values'] = inputs['pixel_values'].to(torch.bfloat16)
inputs['img_mask'] = torch.tensor([[1 for i in range(len(images))]])
inputs['pixel_values'] = inputs['pixel_values'].unsqueeze(0)

inputs = inputs.to('cuda:0')
outputs = model.generate(
        pixel_values = inputs['pixel_values'],
        input_ids = inputs['input_ids'],
        attention_mask = inputs['attention_mask'],
        img_mask = inputs['img_mask'],
        do_sample=False,
        max_length=50,
        min_length=1,
        set_min_padding_size =False,
)
generated_text = processor.batch_decode(outputs, skip_special_tokens=True)[0].strip()
print(generated_text)
# output: 3x6=18"

📚 详细文档

模型详情

MMICL（Multi-Modal In-Context Learning）是一个多模态视觉语言模型，它融合了blip2/instrcutblip。该模型能够分析和理解多个图像，还能遵循指令。MMICL优于相同大小的视觉语言模型，在复杂视觉推理数据集上表现出色。截至2023年8月21日，它在多模态任务排行榜和广泛的视觉语言任务中达到了最先进的性能。此外，它在视频理解和多模态上下文学习（M - ICL）方面展现了新的能力。

模型基本信息

训练超参数

• 训练机制：[fp32, bf16混合精度, bf16非混合精度]

📄 许可证

本项目采用MIT许可证。