Infimm Zephyr

🚀 InfiMM

InfiMM受Flamingo架構啟發，憑藉獨特的訓練數據和多樣化的大語言模型（LLM）脫穎而出。這種方法使InfiMM在保留Flamingo核心優勢的同時，還具備了更強的能力。作為該領域首個開源的變體，InfiMM在社區協作的推動下，在可訪問性和適應性方面表現卓越。它不僅僅是對Flamingo的模仿，更是視覺語言處理領域的一項創新。

本模型是對DeepMind論文 “Flamingo: A Large-scale Visual Language Model for Multimodal Understanding” 中成果的又一次嘗試。與之前的開源嘗試（OpenFlamingo 和 IDEFIC）相比，InfiMM提供了更靈活的模型，適用於廣泛的應用場景。特別是，InfiMM將最新的LLM模型集成到視覺語言模型（VLM）領域，揭示了不同規模和架構的LLM的影響。

請注意，InfiMM目前處於測試階段，我們正在不斷努力改進它。

🚀 快速開始

使用以下代碼開始使用基礎模型：

import torch
from transformers import AutoModelForCausalLM, AutoProcessor

processor = AutoProcessor.from_pretrained("Infi-MM/infimm-zephyr", trust_remote_code=True)

prompts = [
    {
        "role": "user",
        "content": [
            {"image": "assets/infimm-logo.webp"},
            "Please explain this image to me.",
        ],
    }
]
inputs = processor(prompts)

# use bf16
model = AutoModelForCausalLM.from_pretrained(
    "Infi-MM/infimm-zephyr",
    local_files_only=True,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).eval()

inputs = inputs.to(model.device)
inputs["batch_images"] = inputs["batch_images"].to(torch.bfloat16)
generated_ids = model.generate(
    **inputs,
    min_generation_length=0,
    max_generation_length=256,
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_text)

✨ 主要特性

• 受Flamingo架構啟發，結合獨特訓練數據和多樣化LLM，保留核心優勢並增強能力。
• 作為開源變體，具備良好的可訪問性和適應性，由社區協作驅動。
• 集成最新LLM模型到VLM領域，揭示不同規模和架構LLM的影響。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoProcessor

processor = AutoProcessor.from_pretrained("Infi-MM/infimm-zephyr", trust_remote_code=True)

prompts = [
    {
        "role": "user",
        "content": [
            {"image": "assets/infimm-logo.webp"},
            "Please explain this image to me.",
        ],
    }
]
inputs = processor(prompts)

# use bf16
model = AutoModelForCausalLM.from_pretrained(
    "Infi-MM/infimm-zephyr",
    local_files_only=True,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).eval()

inputs = inputs.to(model.device)
inputs["batch_images"] = inputs["batch_images"].to(torch.bfloat16)
generated_ids = model.generate(
    **inputs,
    min_generation_length=0,
    max_generation_length=256,
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_text)

高級用法

文檔未提及高級用法代碼示例，故跳過此部分。

📚 詳細文檔

模型詳情

模型家族

訓練詳情

我們採用三個階段來訓練模型：預訓練（PT）、多任務訓練（MTT）和指令微調（IFT）。各階段的詳細配置如下：

預訓練（PT）

我們遵循與 IDEFICS 類似的訓練流程。 模型在圖像 - 文本對和非結構化多模態網絡文檔的混合數據上進行訓練。所有數據均來自公共來源。由於許多圖像URL鏈接已過期，我們只能下載部分樣本。我們過濾了低質量數據，以下是我們使用的最終數據：

* PMD僅用於具有13B LLM的模型，不用於7B Zephyr模型。

在交錯圖像文本樣本的預訓練過程中，我們應用了掩碼交叉注意力，但沒有嚴格遵循Flamingo的交替注意力機制（交替關注圖像與其前一個或後一個文本的概率為0.5）。

我們使用以下超參數：

多任務訓練（MTT）

我們使用 mix_cap_vqa 表示來自COCO caption、TextCap、VizWiz Caption、VQAv2、OKVQA、VizWiz VQA、TextVQA、OCRVQA、STVQA、DocVQA、GQA和ScienceQA - image的混合訓練集。對於圖像描述任務，我們在問題前添加 “Please describe the image.” 等前綴；對於問答任務，我們添加 “Answer the question using a single word or phrase.”。具體來說，對於VizWiz VQA，我們使用 “When the provided information is insufficient, respond with 'Unanswerable'. Answer the question using a single word or phrase.”；對於ScienceQA - image，我們使用 “Answer with the option's letter from the given choices directly.”。

指令微調（IFT）

在指令微調階段，我們使用最近發佈的 LLaVA - MIX - 665k。

我們使用以下超參數：

在IFT過程中，與預訓練類似，對於基於聊天的LLM（Vicuna和Zephyr），我們凍結ViT和LLM；對於Llama模型，我們在IFT階段保持LLM可訓練。我們還應用聊天模板來處理訓練樣本。

評估

預訓練評估

我們在以下下游任務上評估預訓練模型：圖像描述和視覺問答（VQA）。我們還將結果與 IDEFICS 進行了比較。

IFT評估

在分析中，我們主要關注兩個評估多模態大語言模型（MLLMs）的基準：1）多項選擇題問答（QA）和2）開放式評估。我們發現，視覺問答（VQA）和Text - VQA等任務的評估指標對精確答案匹配過於敏感，這種方法可能會產生誤導，特別是當模型提供同義但技術上正確的響應時。因此，為了更準確地評估，我們在比較中省略了這些指標。評估結果如下表所示。

排行榜詳情

MMMU - 驗證集分割結果

MMMU - 測試集分割結果

🔧 技術細節

文檔中關於技術細節的描述分散在訓練詳情和評估部分，已在詳細文檔中體現，故此處不再單獨列出。

📄 許可證

本項目採用 CC BY - NC 4.0 許可證。

圖像版權歸原作者所有。

更多信息請見 LICENSE。

引用

@misc{InfiMM,
      title={InfiMM: Advancing Multimodal Understanding from Flamingo's Legacy through Diverse LLM Integration},
      author={InfiMM Team},
      url={https://huggingface.co/Infi-MM/},
      year={2024}
}

聯繫我們

如果您有任何問題，請隨時通過電子郵件 infimmbytedance@gmail.com 與我們聯繫。