Llava Gemma 2b

🚀 大語言模型llava-gemma-2b

llava-gemma-2b 是一個大型多模態模型（LMM），它基於 LLaVA-v1.5 框架 進行訓練。該模型以擁有 20 億參數的 google/gemma-2b-it 模型作為語言主幹，並採用基於 CLIP 的視覺編碼器。

🚀 快速開始

使用 llava-gemma 時，如果你的 transformers 版本低於 4.41.1，則需要使用 修改後的預處理器。

當前使用方法，請參考 usage.py 或以下代碼塊：

基礎用法

import requests
from PIL import Image
from transformers import (
  LlavaForConditionalGeneration,
  AutoTokenizer,
  AutoProcessor,
  CLIPImageProcessor
)
#In this repo, needed for version < 4.41.1
#from processing_llavagemma import LlavaGemmaProcessor
#processor = LlavaGemmaProcessor( tokenizer=AutoTokenizer.from_pretrained(checkpoint), image_processor=CLIPImageProcessor.from_pretrained(checkpoint))

checkpoint = "Intel/llava-gemma-2b"

# Load model
model = LlavaForConditionalGeneration.from_pretrained(checkpoint)
processor = AutoProcessor.from_pretrained(checkpoint)

# Prepare inputs
# Use gemma chat template
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "<image>\nWhat's the content of the image?"}],
    tokenize=False,
    add_generation_prompt=True
)
url = "https://www.ilankelman.org/stopsigns/australia.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors="pt")

# Generate
generate_ids = model.generate(**inputs, max_length=30)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

高級用法

若要將其作為聊天機器人直接使用（不使用圖像），可以將代碼的最後部分修改為以下內容：

# Prepare inputs
# Use gemma chat template
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "Summarize the following paragraph? In this paper, we introduced LLaVA-Gemma, a compact vision-language model leveraging the Gemma Large Language Model in two variants, Gemma-2B and Gemma-7B. Our work provides a unique opportunity for researchers to explore the trade-offs between computational efficiency and multimodal understanding in small-scale models. The availability of both variants allows for a comparative analysis that sheds light on how model size impacts performance in various tasks. Our evaluations demonstrate the versatility and effectiveness of LLaVA-Gemma across a range of datasets, highlighting its potential as a benchmark for future research in small-scale vision-language models. With these models, future practitioners can optimize the performance of small-scale multimodal models more directly."}],
    tokenize=False,
    add_generation_prompt=True
)
# url = "https://www.ilankelman.org/stopsigns/australia.jpg"
# image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=None, return_tensors="pt")

# Generate
generate_ids = model.generate(**inputs, max_length=300)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

✨ 主要特性

• 多模態能力：結合了語言和視覺信息處理能力，可處理圖像和文本輸入。
• 基於成熟框架：採用 LLaVA-v1.5 框架 進行訓練，具有良好的性能基礎。
• 特定模型架構：以 google/gemma-2b-it 作為語言主幹，搭配 CLIP 視覺編碼器。

📚 詳細文檔

模型詳情

預期用途

影響因素

評估指標

訓練數據

該模型使用 LLaVA-v1.5 數據混合進行訓練，具體如下：

• 55.8 萬個經過過濾的圖像 - 文本對，來自 LAION/CC/SBU，由 BLIP 加了字幕。
• 15.8 萬個由 GPT 生成的多模態指令跟隨數據。
• 45 萬個面向學術任務的 VQA 數據混合。
• 4 萬個 ShareGPT 數據。

定量分析

LLaVA-Gemma 模型在七個基準測試中的性能。高亮框表示 LLaVA-Gemma 模型中表現最強的。最後兩行分別顯示了 Llava Phi-2 和 LLaVA-v1.5 的自我報告性能。加粗的 gemma-2b-it 是本模型卡片中當前使用的模型。

倫理考量

英特爾致力於尊重人權，避免對人權造成或促成不利影響。請參閱 英特爾全球人權原則。英特爾的產品和軟件僅用於不會對人權造成或促成不利影響的應用。

注意事項和建議

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。

引用詳情

@misc{hinck2024llavagemma,
      title={LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model}, 
      author={Musashi Hinck and Matthew L. Olson and David Cobbley and Shao-Yen Tseng and Vasudev Lal},
      year={2024},
      eprint={2404.01331},
      url={https://arxiv.org/abs/2404.01331},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本模型使用 intel-research-use-license 許可證。