Llava Gemma 2b

🚀 大语言模型llava-gemma-2b

llava-gemma-2b 是一个大型多模态模型（LMM），它基于 LLaVA-v1.5 框架 进行训练。该模型以拥有 20 亿参数的 google/gemma-2b-it 模型作为语言主干，并采用基于 CLIP 的视觉编码器。

🚀 快速开始

使用 llava-gemma 时，如果你的 transformers 版本低于 4.41.1，则需要使用 修改后的预处理器。

当前使用方法，请参考 usage.py 或以下代码块：

基础用法

import requests
from PIL import Image
from transformers import (
  LlavaForConditionalGeneration,
  AutoTokenizer,
  AutoProcessor,
  CLIPImageProcessor
)
#In this repo, needed for version < 4.41.1
#from processing_llavagemma import LlavaGemmaProcessor
#processor = LlavaGemmaProcessor( tokenizer=AutoTokenizer.from_pretrained(checkpoint), image_processor=CLIPImageProcessor.from_pretrained(checkpoint))

checkpoint = "Intel/llava-gemma-2b"

# Load model
model = LlavaForConditionalGeneration.from_pretrained(checkpoint)
processor = AutoProcessor.from_pretrained(checkpoint)

# Prepare inputs
# Use gemma chat template
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "<image>\nWhat's the content of the image?"}],
    tokenize=False,
    add_generation_prompt=True
)
url = "https://www.ilankelman.org/stopsigns/australia.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors="pt")

# Generate
generate_ids = model.generate(**inputs, max_length=30)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

高级用法

若要将其作为聊天机器人直接使用（不使用图像），可以将代码的最后部分修改为以下内容：

# Prepare inputs
# Use gemma chat template
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "Summarize the following paragraph? In this paper, we introduced LLaVA-Gemma, a compact vision-language model leveraging the Gemma Large Language Model in two variants, Gemma-2B and Gemma-7B. Our work provides a unique opportunity for researchers to explore the trade-offs between computational efficiency and multimodal understanding in small-scale models. The availability of both variants allows for a comparative analysis that sheds light on how model size impacts performance in various tasks. Our evaluations demonstrate the versatility and effectiveness of LLaVA-Gemma across a range of datasets, highlighting its potential as a benchmark for future research in small-scale vision-language models. With these models, future practitioners can optimize the performance of small-scale multimodal models more directly."}],
    tokenize=False,
    add_generation_prompt=True
)
# url = "https://www.ilankelman.org/stopsigns/australia.jpg"
# image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=None, return_tensors="pt")

# Generate
generate_ids = model.generate(**inputs, max_length=300)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

✨ 主要特性

• 多模态能力：结合了语言和视觉信息处理能力，可处理图像和文本输入。
• 基于成熟框架：采用 LLaVA-v1.5 框架 进行训练，具有良好的性能基础。
• 特定模型架构：以 google/gemma-2b-it 作为语言主干，搭配 CLIP 视觉编码器。

📚 详细文档

模型详情

预期用途

影响因素

评估指标

训练数据

该模型使用 LLaVA-v1.5 数据混合进行训练，具体如下：

• 55.8 万个经过过滤的图像 - 文本对，来自 LAION/CC/SBU，由 BLIP 加了字幕。
• 15.8 万个由 GPT 生成的多模态指令跟随数据。
• 45 万个面向学术任务的 VQA 数据混合。
• 4 万个 ShareGPT 数据。

定量分析

LLaVA-Gemma 模型在七个基准测试中的性能。高亮框表示 LLaVA-Gemma 模型中表现最强的。最后两行分别显示了 Llava Phi-2 和 LLaVA-v1.5 的自我报告性能。加粗的 gemma-2b-it 是本模型卡片中当前使用的模型。

伦理考量

英特尔致力于尊重人权，避免对人权造成或促成不利影响。请参阅 英特尔全球人权原则。英特尔的产品和软件仅用于不会对人权造成或促成不利影响的应用。

注意事项和建议

用户（直接用户和下游用户）应了解该模型的风险、偏差和局限性。

引用详情

@misc{hinck2024llavagemma,
      title={LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model}, 
      author={Musashi Hinck and Matthew L. Olson and David Cobbley and Shao-Yen Tseng and Vasudev Lal},
      year={2024},
      eprint={2404.01331},
      url={https://arxiv.org/abs/2404.01331},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本模型使用 intel-research-use-license 许可证。