Eagle2.5 8B

🚀 Eagle 2.5

Eagle 2.5は、長文脈のマルチモーダル学習向けに設計された最先端の画像・テキスト変換モデルです。既存の多くのモデルが短文脈タスクに焦点を当てている中、Eagle 2.5は長いビデオ理解や高解像度の画像理解といった課題に取り組み、これらのタスクに対する包括的なフレームワークを提供します。

🚀 クイックスタート

まずは必要なライブラリをインストールします。

pip install transformers==4.51.0

✨ 主な機能

🚀 幅広いタスクでの高い性能

• 10の長ビデオベンチマークのうち6つでSOTA（最先端技術）を達成。
• 5つのビデオタスクのうち3つでGPT - 4o（0806）を上回る。
• 6つのビデオタスクのうち4つでGemini 1.5 Proを上回る。
• 複数の重要なデータセットでQwen2.5 - VL - 72Bと同等またはそれ以上の性能を発揮。
• 512入力フレームのVideo - MMEで72.4%の精度を達成。
• 画像理解能力にも強みがあり、Eagle 2に比べて一貫した改善が見られ、Qwen2.5 - VLと同等の性能を示す。

🎯 主要な革新点

• 情報優先サンプリング
  • 画像領域保存（IAP）：画像のタイリングを最適化して、元の画像領域とアスペクト比の大部分を保持し、細かい詳細を維持します。
  • 自動劣化サンプリング（ADS）：視覚とテキストの入力を動的にバランスさせ、コンテキスト長の制約内で視覚コンテンツを最大化しながら、テキストを完全に保持します。
• 漸進的混合事後学習：学習中に徐々にコンテキスト長を増やし、モデルがさまざまな入力サイズを処理する能力を向上させ、静的サンプリングに比べて情報密度を高めます。
• 多様性駆動型データレシピ：オープンソースデータ（人間によるアノテーション付きおよび合成データ）と独自に作成したEagle - Video - 110Kデータセットを組み合わせ、多様性駆動型戦略を通じて収集され、ストーリーレベルとクリップレベルの両方のQAペアでアノテーション付けされています。

⚡ 効率性とフレームワークの最適化

• GPUメモリ最適化
  • Tritonベースの融合演算子を統合し、PyTorchのMLP、RMSNorm、RoPEの実装を置き換えます。
  • 融合線形層と交差エントロピー損失を使用してGPUメモリを削減し（中間ロジットの保存を削除）、隠れ状態をCPUにオフロードします。
• 分散コンテキスト並列化
  • Ulyssesに基づく2層の通信グループを採用し、USPに基づくRing/Context Parallelismを構築します。
  • すべての集約KVを使用したZigZag Llama3スタイルのコンテキスト並列化を実装し、通信遅延を削減します。
• ビデオデコードの高速化：高速なビデオメタデータ解析による最適化された疎なビデオフレームサンプリングを行い、長いビデオのデコードを改善し、メモリ消費を削減します。
• 推論の高速化：vLLMデプロイメントをサポートし、メモリを削減して推論を高速化します。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

pip install transformers==4.51.0

💻 使用例

基本的な使用法

単一画像の場合

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

ストリーム生成の場合

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel, AutoTokenizer
import torch

from transformers import TextIteratorStreamer
import threading


model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, attn_implementation='flash_attention_2', torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")

streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

generation_kwargs = dict(
    **inputs,
    streamer=streamer,
    max_new_tokens=1024,
    do_sample=True,
    top_p=0.95,
    temperature=0.8
)
thread = threading.Thread(target=model.generate, kwargs=generation_kwargs)
thread.start()


for new_text in streamer:
    print(new_text, end="", flush=True)

複数画像の場合

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {
                "type": "image",
                "image": "https://www.nvidia.com/content/dam/en-zz/Solutions/about-nvidia/logo-and-brand/01-nvidia-logo-vert-500x200-2c50-d@2x.png",
            },
            {"type": "text", "text": "Describe these two images."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

単一ビデオの場合

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": "../Eagle2-8B/space_woaudio.mp4",
            },
            {"type": "text", "text": "Describe this video."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs, video_kwargs = processor.process_vision_info(messages, return_video_kwargs=True)

inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True, videos_kwargs=video_kwargs)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

複数ビデオの場合

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": "../Eagle2-8B/space_woaudio.mp4",
                "nframes": 10,
            },
            {
                "type": "video",
                "video": "../Eagle2-8B/video_ocr.mp4",
                "nframes": 10,
            },
            {"type": "text", "text": "Describe these two videos respectively."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs, video_kwargs = processor.process_vision_info(messages, return_video_kwargs=True)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True, videos_kwargs=video_kwargs)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

バッチ推論の場合

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages1 = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

messages2 = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.nvidia.com/content/dam/en-zz/Solutions/about-nvidia/logo-and-brand/01-nvidia-logo-vert-500x200-2c50-d@2x.png",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
) for messages in [messages1, messages2]]
image_inputs, video_inputs = processor.process_vision_info([messages1, messages2])
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

📚 ドキュメント

モデル詳細

公開されたモデル

ビデオベンチマーク

エンボディベンチマーク

画像ベンチマーク

すべての数値はEagle 2.5の技術レポートの表2と表3から直接抽出されています。

Eagle 2.5 - 8Bは、長文脈のビデオと画像のベンチマークで、はるかに大きなモデルの性能と同等またはそれを上回っています。

📄 ライセンス

このモデルはnsclv1ライセンスの下で提供されています。