Infimm Zephyr

🚀 InfiMM

InfiMMは、Flamingoアーキテクチャにインスパイアされており、独自の学習データと多様な大規模言語モデル（LLM）を持つことで際立っています。このアプローチにより、InfiMMはFlamingoの核心的な強みを維持しながら、強化された機能を提供することができます。この分野で最初のオープンソース版として、InfiMMはコミュニティの協力により、アクセシビリティと適応性に優れています。これはFlamingoの模倣に留まらず、視覚言語処理における革新です。

当社のモデルは、DeepMindによる論文「Flamingo: A Large-scale Visual Language Model for Multimodal Understanding」で報告された結果を再現する別の試みです。以前のオープンソースの試み（OpenFlamingo と IDEFIC）と比較して、InfiMMはより柔軟なモデルを提供し、幅広いアプリケーションが可能です。特に、InfiMMは最新のLLMモデルを視覚言語モデル（VLM）分野に統合し、異なる規模とアーキテクチャのLLMの影響を明らかにします。

なお、InfiMMは現在ベータ版であり、継続的に改善を行っています。

🚀 クイックスタート

以下のコードを使用して、ベースモデルを開始します。

import torch
from transformers import AutoModelForCausalLM, AutoProcessor


processor = AutoProcessor.from_pretrained("Infi-MM/infimm-zephyr", trust_remote_code=True)

prompts = [
    {
        "role": "user",
        "content": [
            {"image": "assets/infimm-logo.webp"},
            "Please explain this image to me.",
        ],
    }
]
inputs = processor(prompts)

# use bf16
model = AutoModelForCausalLM.from_pretrained(
    "Infi-MM/infimm-zephyr",
    local_files_only=True,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).eval()


inputs = inputs.to(model.device)
inputs["batch_images"] = inputs["batch_images"].to(torch.bfloat16)
generated_ids = model.generate(
    **inputs,
    min_generation_length=0,
    max_generation_length=256,
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_text)

✨ 主な機能

InfiMMは、Flamingoアーキテクチャを採用し、EVA CLIPを視覚エンコーダーとして利用し、LLaMA2、Vicuna、Zephyrを言語モデルとして使用しています。視覚と言語のモダリティは、クロスアテンションモジュールを介して接続されています。

📦 インストール

READMEにインストール手順に関する具体的な内容が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoProcessor


processor = AutoProcessor.from_pretrained("Infi-MM/infimm-zephyr", trust_remote_code=True)

prompts = [
    {
        "role": "user",
        "content": [
            {"image": "assets/infimm-logo.webp"},
            "Please explain this image to me.",
        ],
    }
]
inputs = processor(prompts)

# use bf16
model = AutoModelForCausalLM.from_pretrained(
    "Infi-MM/infimm-zephyr",
    local_files_only=True,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).eval()


inputs = inputs.to(model.device)
inputs["batch_images"] = inputs["batch_images"].to(torch.bfloat16)
generated_ids = model.generate(
    **inputs,
    min_generation_length=0,
    max_generation_length=256,
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_text)

高度な使用法

READMEに高度な使用法のコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデルの詳細

モデルファミリー

当社のモデルはいくつかの異なるモデルで構成されています。詳細は以下の通りです。

デモ

近日公開予定です。

学習の詳細

当社はモデルを学習するために3つの段階を採用しています：事前学習（PT）、マルチタスク学習（MTT）、および命令微調整（IFT）。各段階の詳細な設定については、以下の表を参照してください。事前学習データにはかなりのノイズがあるため、より高品質なデータを組み込むことでモデルの精度を向上させることを目指しました。マルチタスク学習（MTT）フェーズでは、多様なデータセットから大量の学習データを利用しました。ただし、これらのデータの回答は主に単語またはフレーズで構成されていたため、モデルの会話能力は限られていました。したがって、第3段階では、大量の画像テキスト対話データ（llava665k）を導入して、モデルの命令を微調整しました。

事前学習（PT）

IDEFICS で使用されている類似の学習手順に従っています。

モデルは、画像テキストペアと非構造化マルチモーダルウェブドキュメントの混合物で学習されます。すべてのデータは公開ソースから取得されています。多くの画像URLリンクが期限切れになっているため、一部のサンプルのみをダウンロードすることができます。低品質のデータをフィルタリングした結果、以下のデータを使用しました。

*PMDは、13BのLLMを持つモデルでのみ使用され、7BのZephyrモデルでは使用されません。

画像とテキストが交互に並ぶサンプルの事前学習中には、マスクされたクロスアテンションを適用しますが、Flamingoのように画像のアテンションを前のテキストまたは後のテキストに0.5の確率で切り替えることは厳密には行っていません。

以下のハイパーパラメータを使用しています。

マルチタスク学習（MTT）

ここでは、mix_cap_vqaを使用して、COCOキャプション、TextCap、VizWizキャプション、VQAv2、OKVQA、VizWiz VQA、TextVQA、OCRVQA、STVQA、DocVQA、GQA、およびScienceQA-imageからの混合学習セットを表しています。キャプションの場合、質問の前に「Please describe the image.」などの接頭辞を追加します。また、QAの場合、「Answer the question using a single word or phrase.」を追加します。具体的には、VizWiz VQAの場合、「When the provided information is insufficient, respond with 'Unanswerable'. Answer the question using a single word or phrase.」を使用します。一方、ScienceQA-imageの場合、「Answer with the option's letter from the given choices directly.」を使用します。

命令微調整（IFT）

命令微調整段階では、最近公開された LLaVA-MIX-665k を使用しています。

以下のハイパーパラメータを使用しています。

IFT中は、事前学習と同様に、会話ベースのLLM（VicunaとZephyr）の場合、ViTとLLMを凍結したままにしています。Llamaモデルの場合、IFT段階中にLLMを学習可能な状態にしています。また、学習サンプルを処理するためにチャットテンプレートを適用しています。

評価

事前学習評価

事前学習されたモデルを以下の下流タスクで評価します：画像キャプショニングとVQA。また、IDEFICS との結果も比較しています。

IFT評価

分析では、MLLMを評価するための2つの主要なベンチマークに焦点を当てています：1）多肢選択質問応答（QA）と2）オープンエンド評価。視覚質問応答（VQA）やText-VQAなどのタスクの評価指標は、正確な回答の一致に過度に敏感であることがわかりました。このアプローチは、モデルが同義語であるが技術的に正しい応答を提供する場合に誤解を招く可能性があります。したがって、これらの指標は、より正確な評価のために比較から除外されています。評価結果は以下の表に示されています。

🔧 技術詳細

READMEに技術的な実装の詳細が記載されている内容が50文字以上あり、具体的な技術説明があるため、このセクションを表示します。技術的な内容は「学習の詳細」セクションに含まれています。

📄 ライセンス

READMEにライセンスに関する具体的な内容が記載されていないため、このセクションをスキップします。