Heron NVILA Lite 33B

🚀 Heron-NVILA-Lite-33B

Heron-NVILA-Lite-33B 是一個基於 NVILA-Lite 架構、為日語訓練的視覺語言模型。它能夠處理圖像和文本信息，在多模態交互方面具有出色的表現。

🚀 快速開始

安裝依賴

# 我已確認 4.46.0 和 4.49.0 版本也可以正常使用。其他版本的 Transformer 可能也適用，但我尚未進行測試。
pip install transformers==4.45.0 accelerate opencv-python torchvision einops pillow
pip install git+https://github.com/bfshi/scaling_on_scales.git

使用示例

from transformers import AutoConfig, AutoModel

model_path = "turing-motors/Heron-NVILA-Lite-33B"

# 你可以使用配置文件
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_config(config, trust_remote_code=True, device_map="auto")

# 或者直接從預訓練模型加載
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, device_map="auto")

# 顯示聊天模板
print(model.tokenizer.chat_template)

# 僅使用文本生成結果的示例
response = model.generate_content(["こんにちは"])
print(response)
print("---" * 40)

# 使用文本 + 圖像生成結果的示例
from PIL import Image
import requests
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
response = model.generate_content([image, "畫像を説明してください。"])
print(response)
print("---" * 40)

# 使用生成配置生成結果的示例
from PIL import Image
import requests
from transformers import GenerationConfig
generation_config = {
    "max_new_tokens": 512,
    "temperature": 0.5,
    "do_sample": True,
}
generation_config = GenerationConfig(**generation_config)
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
response = model.generate_content(
    [image, "畫像を説明してください。"],
    generation_config=generation_config
)
print(response)
print("---" * 40)

# 使用文本 + 圖像 + 文本 + 圖像 + 文本生成結果的示例
from PIL import Image
import requests
url_list = [
    "https://images.unsplash.com/photo-1694831404826-3400c48c188d?q=80&w=2070&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D",
    "https://images.unsplash.com/photo-1693240876439-473af88b4ed7?q=80&w=1974&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D"
]
images = [
   Image.open(requests.get(url, stream=True).raw).convert("RGB") for url in url_list
]
response = model.generate_content([
    images[0],
    "これは日本の畫像です",
    images[1],
    "これはオーストリアの畫像です",
    "各畫像の違いを説明して"])
print(response)
print("---" * 40)

✨ 主要特性

• 多語言支持：支持日語和英語，適用於不同語言環境的用戶。
• 多模態處理：能夠處理圖像和文本信息，實現圖像與文本的交互。
• 基於先進架構：基於 NVILA-Lite 架構，具有出色的性能。

📚 詳細文檔

模型概述

訓練總結

評估

使用 llm-jp-eval-mm 進行評估。除 Heron-NVILA-Lite 和 Sarashina2-Vision-14B 之外的模型得分取自 2025 年 3 月的 llm-jp-eval-mm 排行榜 和 Asagi 網站。Heron-NVILA-Lite 和 Sarashina2-Vision-14B 使用 "gpt-4o-2024-05-13" 作為評估標準進行評估。Sarashina2-Vision-14B 在 官方博客 上使用 "gpt-4o-2024-08-06" 進行評估。請注意，由於評估條件不同，Sarashina2-Vision-14B 的結果僅作參考。

🔧 技術細節

此模型基於 NVILA-Lite 架構，結合了視覺編碼器 siglip2-so400m-patch16-512 和大語言模型 Qwen2.5-32B-Instruct。通過多階段的訓練，使用了多種數據源，以提高模型在多模態任務中的性能。

⚠️ 風險與限制

此模型仍處於實驗階段，尚未針對道德合規性或法律標準進行全面校準。在敏感應用中使用時請謹慎。

📄 許可證

• 模型權重遵循 Apache License 2.0 許可協議。
• 由於包含 GPT-4 生成的合成數據，用戶必須遵守 OpenAI 使用條款。

🙏 致謝

此模型基於新能源產業技術綜合開發機構（NEDO）資助的項目 JPNP20017 的研究成果。同時，感謝以下開源倉庫的貢獻：

• VILA
• llm-jp-eval-mm