Llava Gemma 7b

🚀 LLaVA-Gemma-7b大语言模型

llava-gemma-7b 是一个大型多模态模型（LMM），它基于 LLaVA-v1.5框架 进行训练，以拥有70亿参数的 google/gemma-7b-it 模型作为语言主干，并采用基于CLIP的视觉编码器。

注意: 截至2024年6月3日，我们尚未将该模型的权重转换为HuggingFace LLaVA格式。完成转换后，此模型卡片将进行更新。

✨ 主要特性

• 基于LLaVA-v1.5框架训练，结合了强大的语言模型和视觉编码器，实现多模态处理。
• 可用于多模态基准评估，也能作为多模态聊天机器人使用。

📦 安装指南

目前，使用 llava-gemma 需要一个 修改后的预处理器。我们目前正在对 LlavaProcessor 类进行修改，以简化使用流程（请参阅 PR #30030），请期待后续更新。

💻 使用示例

基础用法

import requests
from PIL import Image
from transformers import (
  LlavaForConditionalGeneration,
  AutoTokenizer,
  CLIPImageProcessor
)
from processing_llavagemma import LlavaGemmaProcessor # This is in this repo

checkpoint = "Intel/llava-gemma-7b"

# Load model
model = LlavaForConditionalGeneration.from_pretrained(checkpoint)
processor = LlavaGemmaProcessor(
    tokenizer=AutoTokenizer.from_pretrained(checkpoint),
    image_processor=CLIPImageProcessor.from_pretrained(checkpoint)
)

# Prepare inputs
# Use gemma chat template
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "<image>\nWhat's the content of the image?"}],
    tokenize=False,
    add_generation_prompt=True
)
url = "https://www.ilankelman.org/stopsigns/australia.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors="pt")

# Generate
generate_ids = model.generate(**inputs, max_length=30)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

高级用法

若要将其作为聊天机器人直接使用（不涉及图像），可以将代码的最后部分修改为以下内容：

# Prepare inputs
# Use gemma chat template
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "Summarize the following paragraph? In this paper, we introduced LLaVA-Gemma, a compact vision-language model leveraging the Gemma Large Language Model in two variants, Gemma-2B and Gemma-7B. Our work provides a unique opportunity for researchers to explore the trade-offs between computational efficiency and multimodal understanding in small-scale models. The availability of both variants allows for a comparative analysis that sheds light on how model size impacts performance in various tasks. Our evaluations demonstrate the versatility and effectiveness of LLaVA-Gemma across a range of datasets, highlighting its potential as a benchmark for future research in small-scale vision-language models. With these models, future practitioners can optimize the performance of small-scale multimodal models more directly."}],
    tokenize=False,
    add_generation_prompt=True
)
# url = "https://www.ilankelman.org/stopsigns/australia.jpg"
# image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=None, return_tensors="pt")

# Generate
generate_ids = model.generate(**inputs, max_length=300)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

📚 详细文档

模型详情

预期用途

影响因素

评估指标

训练数据

该模型使用LLaVA-v1.5数据混合进行训练，具体如下：

• 55.8万个经过筛选的图像 - 文本对，来自LAION/CC/SBU，由BLIP添加了标题。
• 15.8万个由GPT生成的多模态指令跟随数据。
• 45万个面向学术任务的VQA数据混合。
• 4万个ShareGPT数据。

定量分析

LLaVA-Gemma模型在七个基准测试中的性能。高亮框表示LLaVA-Gemma模型中表现最强的部分。最后两行分别显示了Llava Phi - 2和LLaVA-v1.5的自我报告性能。加粗的 gemma-7b-it 是本模型卡片中当前使用的模型。

伦理考量

英特尔致力于尊重人权，避免对人权造成或促成不利影响。请参阅 英特尔全球人权原则。英特尔的产品和软件仅旨在用于不会对人权造成或促成不利影响的应用程序。

注意事项和建议

用户（包括直接用户和下游用户）应了解该模型的风险、偏差和局限性。

引用详情

@misc{hinck2024llavagemma,
      title={LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model}, 
      author={Musashi Hinck and Matthew L. Olson and David Cobbley and Shao-Yen Tseng and Vasudev Lal},
      year={2024},
      eprint={2404.01331},
      url={https://arxiv.org/abs/2404.01331},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本项目遵循 intel-research-use-license 许可证。