Heron NVILA Lite 1B

🚀 苍鹭-NVILA-Lite-1B

苍鹭-NVILA-Lite-1B是一款基于NVILA-Lite架构、为日语训练的视觉语言模型。它能够处理图像和文本信息，在多模态交互场景中发挥作用。

🚀 快速开始

环境配置

# 我已确认4.46.0和4.49.0版本也可以正常使用。其他版本的Transformer可能也能正常工作，但我尚未进行测试。
pip install transformers==4.45.0 accelerate opencv-python torchvision einops pillow
pip install git+https://github.com/bfshi/scaling_on_scales.git

代码示例

from transformers import AutoConfig, AutoModel

model_path = "turing-motors/Heron-NVILA-Lite-1B"

# 你可以使用配置文件
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_config(config, trust_remote_code=True, device_map="auto")

# 或者直接从预训练模型加载
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, device_map="auto")

# 显示聊天模板
print(model.tokenizer.chat_template)

# 纯文本生成示例
response = model.generate_content(["こんにちは"])
print(response)
print("---" * 40)

# 文本 + 图像生成示例
from PIL import Image
import requests
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
response = model.generate_content([image, "画像を説明してください。"])
print(response)
print("---" * 40)

# 使用生成配置进行生成的示例
from PIL import Image
import requests
from transformers import GenerationConfig
generation_config = {
    "max_new_tokens": 512,
    "temperature": 0.5,
    "do_sample": True,
}
generation_config = GenerationConfig(**generation_config)
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
response = model.generate_content(
    [image, "画像を説明してください。"],
    generation_config=generation_config
)
print(response)
print("---" * 40)

# 文本 + 图像 + 文本 + 图像 + 文本生成示例
from PIL import Image
import requests
url_list = [
    "https://images.unsplash.com/photo-1694831404826-3400c48c188d?q=80&w=2070&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D",
    "https://images.unsplash.com/photo-1693240876439-473af88b4ed7?q=80&w=1974&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D"
]
images = [
   Image.open(requests.get(url, stream=True).raw).convert("RGB") for url in url_list
]
response = model.generate_content([
    images[0],
    "これは日本の画像です",
    images[1],
    "これはオーストリアの画像です",
    "各画像の違いを説明して"])
print(response)
print("---" * 40)

✨ 主要特性

• 多语言支持：支持日语和英语，能够满足不同语言用户的需求。
• 多模态处理：可以处理图像和文本信息，实现图像描述、图像问答等功能。

📦 安装指南

# 我已确认4.46.0和4.49.0版本也可以正常使用。其他版本的Transformer可能也能正常工作，但我尚未进行测试。
pip install transformers==4.45.0 accelerate opencv-python torchvision einops pillow
pip install git+https://github.com/bfshi/scaling_on_scales.git

💻 使用示例

基础用法

from transformers import AutoConfig, AutoModel

model_path = "turing-motors/Heron-NVILA-Lite-1B"

# 你可以使用配置文件
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_config(config, trust_remote_code=True, device_map="auto")

# 或者直接从预训练模型加载
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, device_map="auto")

# 显示聊天模板
print(model.tokenizer.chat_template)

# 纯文本生成示例
response = model.generate_content(["こんにちは"])
print(response)
print("---" * 40)

高级用法

# 文本 + 图像 + 文本 + 图像 + 文本生成示例
from PIL import Image
import requests
url_list = [
    "https://images.unsplash.com/photo-1694831404826-3400c48c188d?q=80&w=2070&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D",
    "https://images.unsplash.com/photo-1693240876439-473af88b4ed7?q=80&w=1974&auto=format&fit=crop&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D"
]
images = [
   Image.open(requests.get(url, stream=True).raw).convert("RGB") for url in url_list
]
response = model.generate_content([
    images[0],
    "これは日本の画像です",
    images[1],
    "これはオーストリアの画像です",
    "各画像の違いを説明して"])
print(response)
print("---" * 40)

📚 详细文档

模型概述

训练总结

评估

我使用了llm-jp-eval-mm进行评估。除苍鹭-NVILA-Lite和Sarashina2-Vision-14B之外的模型分数取自2025年3月的llm-jp-eval-mm排行榜和浅葱网站。苍鹭-NVILA-Lite和Sarashina2-Vision-14B使用“gpt-4o-2024-05-13”作为评判模型进行评估。Sarashina2-Vision-14B在官方博客上使用“gpt-4o-2024-08-06”进行评估；请注意，由于评估条件不同，Sarashina2-Vision-14B的结果仅作参考。

风险与限制

⚠️ 重要提示

该模型处于实验阶段，尚未针对道德合规性或法律标准进行全面校准。在敏感应用场景中请谨慎使用。

许可证

• 模型权重遵循Apache许可证2.0。
• 由于包含GPT-4生成的合成数据，用户必须遵守OpenAI使用条款。

致谢

该模型基于新能源产业技术综合开发机构（NEDO）资助的项目JPNP20017的研究成果。

感谢以下开源仓库的使用：

• VILA
• llm-jp-eval-mm

📄 许可证

• 模型权重遵循Apache许可证2.0。
• 由于包含GPT-4生成的合成数据，用户必须遵守OpenAI使用条款。