Eagle - X5 - 7Bオープンソースマルチモーダル大規模モデル

ホーム

Eagle X5 7B

NVEagleによって開発

Eagleは、視覚を中心とした高解像度マルチモーダル大規模言語モデルのシリーズで、1K以上の入力解像度をサポートし、光学文字認識やドキュメント理解などのタスクで優れた性能を発揮します。

画像生成テキスト

Transformers

#高解像度視覚理解 #マルチモーダル大規模言語モデル #ハイブリッド視覚エンコーダ

ダウンロード数 918

リリース時間 : 8/23/2024

モデル概要

Eagleは、ハイブリッド視覚エンコーダと異なる入力解像度を通じて、マルチモーダル大規模言語モデルの知覚能力を強化する方法を探求しています。チャネル連結に基づく'CLIP+X'融合方式を採用し、異なるアーキテクチャと知識領域の視覚専門家を統合します。

モデル特徴

高解像度処理

1K以上の入力解像度をサポートし、OCRやドキュメント理解などの解像度に敏感なタスクに特に適しています。

マルチモーダル融合

'CLIP+X'融合方式を採用し、異なるアーキテクチャ（ViT/畳み込みネットワーク）と知識領域（検出/セグメンテーション/OCR/自己教師あり学習）の視覚専門家を統合します。

ハイブリッド視覚エンコーダ

ハイブリッド視覚エンコーダと異なる入力解像度を通じて、マルチモーダル大規模言語モデルの知覚能力を包括的に強化します。

モデル能力

画像理解

テキスト生成

光学文字認識

ドキュメント理解

マルチモーダル対話

使用事例

ドキュメント処理

ドキュメント内容理解

スキャンされたドキュメントやPDFの内容と構造を解析・理解する

ドキュメント理解タスクで優れた性能を発揮

画像記述

画像内容記述

入力画像に基づいて詳細なテキスト記述を生成する

画像の内容と詳細を正確に記述可能

🚀 Eagleモデルカード

Eagleは、高解像度の画像とテキストを入力として受け取り、テキストを出力するマルチモーダルLLMです。このモデルは、異なるアーキテクチャと知識を持つビジョンエキスパートを融合することで、マルチモーダルLLMの知覚能力を強化します。

📚 詳細ドキュメント

モデルの詳細

属性	详情
モデルタイプ	Eagleは、ビジョン中心の高解像度マルチモーダルLLMのファミリーです。このモデルは、ビジョンエンコーダと異なる入力解像度の組み合わせを用いて、マルチモーダルLLMの知覚能力を強化するための包括的な探索を行っています。モデルには、異なるアーキテクチャ（ViT/ConvNets）と知識（検出/セグメンテーション/OCR/SSL）を持つビジョンエキスパートのための、チャネル連結ベースの「CLIP+X」融合が含まれています。結果として得られるEagleモデルのファミリーは、最大1Kを超える入力解像度をサポートし、マルチモーダルLLMのベンチマーク、特に光学文字認識や文書理解などの解像度に敏感なタスクで強力な結果を得ています。
詳細情報の論文またはリソース	GitHub arXiv / デモ / Huggingface

属性

详情

モデルタイプ

Eagleは、ビジョン中心の高解像度マルチモーダルLLMのファミリーです。このモデルは、ビジョンエンコーダと異なる入力解像度の組み合わせを用いて、マルチモーダルLLMの知覚能力を強化するための包括的な探索を行っています。モデルには、異なるアーキテクチャ（ViT/ConvNets）と知識（検出/セグメンテーション/OCR/SSL）を持つビジョンエキスパートのための、チャネル連結ベースの「CLIP+X」融合が含まれています。結果として得られるEagleモデルのファミリーは、最大1Kを超える入力解像度をサポートし、マルチモーダルLLMのベンチマーク、特に光学文字認識や文書理解などの解像度に敏感なタスクで強力な結果を得ています。

詳細情報の論文またはリソース

GitHub
arXiv / デモ / Huggingface

image/png

@article{shi2024eagle,
    title = {Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders}, 
    author={Min Shi and Fuxiao Liu and Shihao Wang and Shijia Liao and Subhashree Radhakrishnan and De-An Huang and Hongxu Yin and Karan Sapra and Yaser Yacoob and Humphrey Shi and Bryan Catanzaro and Andrew Tao and Jan Kautz and Zhiding Yu and Guilin Liu},
    journal={arXiv:2408.15998},
    year={2024}
}

ライセンス

コードは、LICENSEファイルに記載されているApache 2.0ライセンスの下で公開されています。
事前学習済みの重みは、CC-BY-NC-SA-4.0ライセンスの下で公開されています。
このサービスは研究用のプレビューであり、非商用利用のみを目的としており、以下のライセンスと条件に従います。

モデルに関する質問やコメントを送信する場所: https://github.com/NVlabs/Eagle/issues

モデルアーキテクチャ

属性	详情
アーキテクチャタイプ	Transformer

入力

属性	详情
入力タイプ	画像、テキスト
入力形式	赤、緑、青；文字列

出力

属性	详情
出力タイプ	テキスト
出力形式	文字列

💻 使用例

基本的な使用法

import os
import torch
import numpy as np
from eagle import conversation as conversation_lib
from eagle.constants import DEFAULT_IMAGE_TOKEN
from eagle.constants import IMAGE_TOKEN_INDEX, DEFAULT_IMAGE_TOKEN, DEFAULT_IM_START_TOKEN, DEFAULT_IM_END_TOKEN
from eagle.conversation import conv_templates, SeparatorStyle
from eagle.model.builder import load_pretrained_model
from eagle.utils import disable_torch_init
from eagle.mm_utils import tokenizer_image_token, get_model_name_from_path, process_images, KeywordsStoppingCriteria
from PIL import Image
import argparse
from transformers import TextIteratorStreamer
from threading import Thread

model_path = "NVEagle/Eagle-X5-13B-Chat"
conv_mode = "vicuna_v1"
image_path = "assets/georgia-tech.jpeg"
input_prompt = "Describe this image."

model_name = get_model_name_from_path(model_path)
tokenizer, model, image_processor, context_len = load_pretrained_model(model_path,None,model_name,False,False)
if model.config.mm_use_im_start_end:
    input_prompt = DEFAULT_IM_START_TOKEN + DEFAULT_IMAGE_TOKEN + DEFAULT_IM_END_TOKEN + '\n' + input_prompt
else:
    input_prompt = DEFAULT_IMAGE_TOKEN + '\n' + input_prompt

conv = conv_templates[conv_mode].copy()
conv.append_message(conv.roles[0], input_prompt)
conv.append_message(conv.roles[1], None)
prompt = conv.get_prompt()

image = Image.open(image_path).convert('RGB')
image_tensor = process_images([image], image_processor, model.config)[0]
input_ids = tokenizer_image_token(prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensors='pt')

input_ids = input_ids.to(device='cuda', non_blocking=True)
image_tensor = image_tensor.to(dtype=torch.float16, device='cuda', non_blocking=True)

with torch.inference_mode():
    output_ids = model.generate(
        input_ids.unsqueeze(0),
        images=image_tensor.unsqueeze(0),
        image_sizes=[image.size],
        do_sample=True,
        temperature=0.2,
        top_p=0.5,
        num_beams=1,
        max_new_tokens=256,
        use_cache=True)

outputs = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0].strip()
print(f"Image:{image_path} \nPrompt:{input_prompt} \nOutput:{outputs}")

推論環境

[推奨/サポートされている] オペレーティングシステム:
Linux

📄 意図された使用法

主な使用目的

Eagleの主な使用目的は、大規模マルチモーダルモデルとチャットボットの研究です。

主な対象ユーザー

このモデルの主な対象ユーザーは、コンピュータビジョン、自然言語処理、機械学習、および人工知能の研究者と愛好家です。

🔧 倫理的な考慮事項

NVIDIAは、信頼性の高いAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は自社のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期せぬ製品の誤用に対応するようにする必要があります。