Eagle2.5 8B

🚀 Eagle 2.5

Eagle 2.5是一系列前沿的視覺語言模型（VLM），專為長上下文多模態學習而設計。它解決了長視頻理解和高分辨率圖像理解的挑戰，為這兩個領域提供了通用框架。

項目鏈接

• 📂主頁
• 📂GitHub
• 📜技術報告
• 🤗HF演示

🚀 快速開始

要使用Eagle 2.5，首先需要安裝必要的庫：

pip install transformers==4.51.0

✨ 主要特性

強大的長上下文處理能力

Eagle 2.5支持處理長達512幀的視頻序列，在長視頻理解和高分辨率圖像理解方面表現出色，解決了現有大多數VLM專注於短上下文任務的侷限。

優異的基準測試成績

• 在10個長視頻基準測試中的6個上達到了SOTA水平。
• 在3/5的視頻任務中超越了GPT - 4o (0806)。
• 在4/6的視頻任務中超越了Gemini 1.5 Pro。
• 在多個關鍵數據集上與Qwen2.5 - VL - 72B表現相當或更優。
• 在Video - MME上使用512輸入幀時達到72.4%的準確率。
• 在圖像理解方面相較於Eagle 2有持續提升，與Qwen2.5 - VL表現相當。

關鍵創新點

• 信息優先採樣：
  • 圖像區域保留（IAP）：優化圖像分塊，保留大部分原始圖像區域和寬高比，保留細粒度細節。
  • 自動降級採樣（ADS）：動態平衡視覺和文本輸入，確保在上下文長度限制內完整保留文本的同時最大化視覺內容。
• 漸進式混合後訓練：在訓練過程中逐漸增加上下文長度，增強模型處理不同輸入大小的能力，提高信息密度。
• 多樣性驅動的數據配方：將開源數據（人工標註和合成數據）與精心策劃的Eagle - Video - 110K數據集相結合，該數據集通過多樣性驅動策略收集，並帶有故事級和片段級的問答對標註。

效率與框架優化

• GPU內存優化：
  • 集成基於Triton的融合算子，替代PyTorch的MLP、RMSNorm和RoPE實現。
  • 通過融合線性層和交叉熵損失（去除中間logit存儲）以及將隱藏狀態卸載到CPU來減少GPU內存使用。
• 分佈式上下文並行：
  • 採用基於Ulysses和Ring/Context Parallelism的兩層通信組。
  • 實現ZigZag Llama3風格的上下文並行，使用全收集KV減少通信延遲。
• 視頻解碼加速：優化稀疏視頻幀採樣，快速解析視頻元數據，提高長視頻解碼速度並減少內存消耗。
• 推理加速：支持vLLM部署，減少內存使用並加速推理。

📦 安裝指南

安裝所需的庫：

pip install transformers==4.51.0

💻 使用示例

基礎用法

單張圖像

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

高級用法

流式生成

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel, AutoTokenizer
import torch

from transformers import TextIteratorStreamer
import threading


model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, attn_implementation='flash_attention_2', torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")

streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

generation_kwargs = dict(
    **inputs,
    streamer=streamer,
    max_new_tokens=1024,
    do_sample=True,
    top_p=0.95,
    temperature=0.8
)
thread = threading.Thread(target=model.generate, kwargs=generation_kwargs)
thread.start()


for new_text in streamer:
    print(new_text, end="", flush=True)

多張圖像

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {
                "type": "image",
                "image": "https://www.nvidia.com/content/dam/en-zz/Solutions/about-nvidia/logo-and-brand/01-nvidia-logo-vert-500x200-2c50-d@2x.png",
            },
            {"type": "text", "text": "Describe these two images."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

單視頻

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": "../Eagle2-8B/space_woaudio.mp4",
            },
            {"type": "text", "text": "Describe this video."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs, video_kwargs = processor.process_vision_info(messages, return_video_kwargs=True)

inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True, videos_kwargs=video_kwargs)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

多視頻

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": "../Eagle2-8B/space_woaudio.mp4",
                "nframes": 10,
            },
            {
                "type": "video",
                "video": "../Eagle2-8B/video_ocr.mp4",
                "nframes": 10,
            },
            {"type": "text", "text": "Describe these two videos respectively."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)]
image_inputs, video_inputs, video_kwargs = processor.process_vision_info(messages, return_video_kwargs=True)
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True, videos_kwargs=video_kwargs)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

批量推理

from PIL import Image
import requests
from transformers import AutoProcessor, AutoModel
import torch
model = AutoModel.from_pretrained("nvidia/Eagle-2.5-8B",trust_remote_code=True, torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained("nvidia/Eagle-2.5-8B", trust_remote_code=True, use_fast=True)
processor.tokenizer.padding_side = "left"

messages1 = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.ilankelman.org/stopsigns/australia.jpg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

messages2 = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://www.nvidia.com/content/dam/en-zz/Solutions/about-nvidia/logo-and-brand/01-nvidia-logo-vert-500x200-2c50-d@2x.png",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text_list = [processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
) for messages in [messages1, messages2]]
image_inputs, video_inputs = processor.process_vision_info([messages1, messages2])
inputs = processor(text = text_list, images=image_inputs, videos=video_inputs, return_tensors="pt", padding=True)
inputs = inputs.to("cuda")
model = model.to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

📚 詳細文檔

模型詳情

發佈的模型

視頻基準測試

具身基準測試

圖像基準測試

🔧 技術細節

信息優先採樣

• 圖像區域保留（IAP）：通過優化圖像分塊方式，儘可能保留原始圖像的區域和寬高比，從而保留圖像中的細粒度細節，有助於模型更準確地理解圖像內容。
• 自動降級採樣（ADS）：在處理視覺和文本輸入時，根據上下文長度的限制，動態平衡兩者的比例，確保在不丟失文本信息的前提下，最大化利用視覺內容。

漸進式混合後訓練

在訓練過程中，逐漸增加上下文長度，從32K擴展到128K。這種方式使模型能夠適應不同大小的輸入，提高了模型處理長上下文信息的能力，同時增加了信息密度。

多樣性驅動的數據配方

結合開源的視頻和文檔數據集以及自主策劃的Eagle - Video - 110K數據集。該數據集通過多樣性驅動的策略收集，包含超過110K個帶有故事級和片段級標註的長視頻樣本，為模型訓練提供了豐富多樣的數據。

效率優化

• GPU內存優化：
  • 採用基於Triton的融合算子，替代PyTorch的MLP、RMSNorm和RoPE實現，提高計算效率。
  • 通過融合線性層和交叉熵損失，去除中間logit存儲，減少了GPU內存的使用。同時，將隱藏狀態卸載到CPU，進一步優化內存佔用。
• 分佈式上下文並行：
  • 採用基於Ulysses和Ring/Context Parallelism的兩層通信組，結合ZigZag Llama3風格的上下文並行，使用全收集KV減少通信延遲，提高分佈式訓練的效率。
• 視頻解碼加速：優化稀疏視頻幀採樣算法，快速解析視頻元數據，提高長視頻解碼速度，同時減少內存消耗。
• 推理加速：支持vLLM部署，減少推理過程中的內存使用，加速模型推理。

📄 許可證

本項目採用nsclv1許可證。