Eagle X4 8B Plus

🚀 Eagleモデルカード

Eagleは、視覚を中心とした高解像度の多モーダル大規模言語モデルファミリーです。複数の視覚エンコーダとさまざまな入力解像度を融合することで、多モーダル大規模言語モデルの感知能力を強化しています。このモデルは、多モーダル大規模言語モデルのベンチマークテストで優れた成績を収めており、特に光学文字認識や文書理解などの解像度に敏感なタスクで顕著な成果を挙げています。

✨ 主な機能

• 多モーダル融合：チャネル結合に基づく「CLIP+X」融合方式を採用し、異なるアーキテクチャ（ViT/畳み込みネットワーク）と知識（検出/分割/光学文字認識/自己教師付き学習）の視覚エキスパートを組み合わせています。
• 高解像度対応：1Kを超える入力解像度に対応しており、多モーダル大規模言語モデルのベンチマークテストで優れた成績を収めています。特に解像度に敏感なタスクで顕著な性能を発揮します。

📚 ドキュメント

モデルの詳細

論文引用

@article{shi2024eagle,
    title = {Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders}, 
    author={Min Shi and Fuxiao Liu and Shihao Wang and Shijia Liao and Subhashree Radhakrishnan and De-An Huang and Hongxu Yin and Karan Sapra and Yaser Yacoob and Humphrey Shi and Bryan Catanzaro and Andrew Tao and Jan Kautz and Zhiding Yu and Guilin Liu},
    journal={arXiv:2408.15998},
    year={2024}
}

モデルアーキテクチャ

推論例

import os
import torch
import numpy as np
from eagle import conversation as conversation_lib
from eagle.constants import DEFAULT_IMAGE_TOKEN
from eagle.constants import IMAGE_TOKEN_INDEX, DEFAULT_IMAGE_TOKEN, DEFAULT_IM_START_TOKEN, DEFAULT_IM_END_TOKEN
from eagle.conversation import conv_templates, SeparatorStyle
from eagle.model.builder import load_pretrained_model
from eagle.utils import disable_torch_init
from eagle.mm_utils import tokenizer_image_token, get_model_name_from_path, process_images, KeywordsStoppingCriteria
from PIL import Image
import argparse
from transformers import TextIteratorStreamer
from threading import Thread

model_path = "NVEagle/Eagle-X5-13B-Chat"
conv_mode = "vicuna_v1"
image_path = "assets/georgia-tech.jpeg"
input_prompt = "Describe this image."

model_name = get_model_name_from_path(model_path)
tokenizer, model, image_processor, context_len = load_pretrained_model(model_path,None,model_name,False,False)
if model.config.mm_use_im_start_end:
    input_prompt = DEFAULT_IM_START_TOKEN + DEFAULT_IMAGE_TOKEN + DEFAULT_IM_END_TOKEN + '\n' + input_prompt
else:
    input_prompt = DEFAULT_IMAGE_TOKEN + '\n' + input_prompt

conv = conv_templates[conv_mode].copy()
conv.append_message(conv.roles[0], input_prompt)
conv.append_message(conv.roles[1], None)
prompt = conv.get_prompt()

image = Image.open(image_path).convert('RGB')
image_tensor = process_images([image], image_processor, model.config)[0]
input_ids = tokenizer_image_token(prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensors='pt')

input_ids = input_ids.to(device='cuda', non_blocking=True)
image_tensor = image_tensor.to(dtype=torch.float16, device='cuda', non_blocking=True)

with torch.inference_mode():
    output_ids = model.generate(
        input_ids.unsqueeze(0),
        images=image_tensor.unsqueeze(0),
        image_sizes=[image.size],
        do_sample=True,
        temperature=0.2,
        top_p=0.5,
        num_beams=1,
        max_new_tokens=256,
        use_cache=True)

outputs = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0].strip()
print(f"Image:{image_path} \nPrompt:{input_prompt} \nOutput:{outputs}")

想定用途

• 主な想定用途：Eagleの主な用途は、大規模多モーダルモデルとチャットボットの研究です。
• 主な想定ユーザー：このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の分野の研究者と愛好家です。

倫理的考慮事項

NVIDIAは、信頼できる人工知能は共同の責任であると考えており、幅広い人工知能アプリケーション開発をサポートするための政策と実践を策定しています。開発者が当社のサービス利用規約に従ってこのモデルをダウンロードまたは使用する場合、内部のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、発生する可能性のある製品の乱用問題を解決する必要があります。

📄 ライセンス

• コードはLICENSEファイルのApache 2.0ライセンスに基づいて公開されています。
• 事前学習済みの重みはCC - BY - NC - SA - 4.0ライセンスに基づいて公開されています。
• このサービスは研究用のプレビューとしてのみ提供されており、非商業目的での使用に限定され、以下のライセンスと条件に従います。
  • LLaMAのモデルライセンス
  • OpenAI生成データの利用規約
  • 学習時に使用された各データセットのライセンス

モデルに関する質問や提案の送信先： https://github.com/NVlabs/Eagle/issues