C RADIOv2 G

🚀 RADIO模型

RADIO模型主要用于视觉特征提取，能够生成图像嵌入，可被下游模型用于图像分类等任务。C - RADIOv2有多种尺寸可供选择，适用于商业和非商业用途。

🚀 快速开始

环境准备

确保你已经安装了必要的库：

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

加载模型和图像处理器

hf_repo = "nvidia/C-RADIOv2-g"

image_processor = CLIPImageProcessor.from_pretrained(hf_repo)
model = AutoModel.from_pretrained(hf_repo, trust_remote_code=True)
model.eval().cuda()

处理图像

image = Image.open('./assets/radio.png').convert('RGB')
pixel_values = image_processor(images=image, return_tensors='pt', do_resize=True).pixel_values
pixel_values = pixel_values.cuda()

进行推理

summary, features = model(pixel_values)

✨ 主要特性

• 多尺寸可选：C - RADIOv2模型有Base（90M参数）、Large（320M参数）、Huge（653M参数）和Gigantic（1.1B参数）多种尺寸。
• 训练优化：C - RADIOv2训练了100万步（比v1多40万步），使用逆频率采样进行数据平衡，并使用PHI标准化进行教师分布平衡。
• 全球可用：该模型的部署范围为全球。
• 多用途：生成的嵌入可用于图像级理解、密集处理以及集成到视觉 - 语言模型中。

📦 安装指南

此部分文档未提及具体安装命令，暂不展示安装指南。

💻 使用示例

基础用法

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

hf_repo = "nvidia/C-RADIOv2-g"

image_processor = CLIPImageProcessor.from_pretrained(hf_repo)
model = AutoModel.from_pretrained(hf_repo, trust_remote_code=True)
model.eval().cuda()

image = Image.open('./assets/radio.png').convert('RGB')
pixel_values = image_processor(images=image, return_tensors='pt', do_resize=True).pixel_values
pixel_values = pixel_values.cuda()

summary, features = model(pixel_values)

高级用法

from einops import rearrange
spatial_features = rearrange(spatial_features, 'b (h w) d -> b d h w', h=x.shape[-2] // patch_size, w=x.shape[-1] // patch_size)

📚 详细文档

模型信息

模型版本

• C - RADIOv2 - B（90M参数）
• C - RADIOv2 - L（320M参数）
• C - RADIOv2 - H（653M参数）
• C - RADIOv2 - G（1.8B参数）

模型链接

• C - RADIOv2 - B
• C - RADIOv2 - L
• C - RADIOv2 - H
• C - RADIOv2 - G

训练和评估数据集

训练数据集

• 名称：NV - CC - Img - Text - Dataset
• 数据收集方法：自动
• 标注方法：不适用（无需标注）
• 属性：包含7亿张图像

评估数据集

• 链接：ImageNet
• 数据收集方法：自动
• 标注方法：人工
• 属性：该数据集涵盖1000个对象类别，包含1,281,167张训练图像、50,000张验证图像和100,000张测试图像。

推理

• 推理引擎：PyTorch
• 测试硬件：A100

伦理考虑

NVIDIA认为可信AI是一项共同责任，并制定了相关政策和实践，以支持各种AI应用的开发。开发者在下载或使用该模型时，应与内部模型团队合作，确保该模型符合相关行业和用例的要求，并解决意外的产品滥用问题。

如需了解该模型伦理考虑的更多详细信息，请参阅以下模型卡片++可解释性、偏差、安全与保障以及隐私子卡片。

请在此报告安全漏洞或NVIDIA AI相关问题。

偏差

可解释性

隐私

安全

🔧 技术细节

C - RADIOv2训练了100万步（比v1多40万步），使用逆频率采样进行数据平衡，并使用PHI标准化进行教师分布平衡。

📄 许可证

使用此模型受NVIDIA开放模型许可协议的约束。