C RADIO

🚀 C - RADIO模型

C - RADIO是一款用于视觉特征提取的模型，它能生成图像嵌入，供下游模型进行图像分类等任务。

🚀 快速开始

环境准备

确保你已经安装了必要的库，如torch、transformers、Pillow、einops等。

代码示例

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

hf_repo = "nvidia/C - RADIO"

image_processor = CLIPImageProcessor.from_pretrained(hf_repo)
model = AutoModel.from_pretrained(hf_repo, trust_remote_code=True)
model.eval().cuda()

image = Image.open('./assets/radio.png').convert('RGB')
pixel_values = image_processor(images=image, return_tensors='pt', do_resize=True).pixel_values
pixel_values = pixel_values.cuda()

summary, features = model(pixel_values)

空间特征处理

from einops import rearrange
spatial_features = rearrange(spatial_features, 'b (h w) d -> b d h w', h=x.shape[-2] // patch_size, w=x.shape[-1] // patch_size)

✨ 主要特性

• 基于视觉Transformer架构，能够有效提取图像特征。
• 输出包含summary和spatial_features，可满足不同下游任务需求。

📦 安装指南

暂未提供具体安装步骤。

📚 详细文档

模型架构

输入信息

输出信息

软件集成

• 运行时引擎：TAO - 24.10
• 支持的硬件微架构：NVIDIA Ampere、NVIDIA Blackwell、NVIDIA Jetson、NVIDIA Hopper、NVIDIA Lovelace、NVIDIA Pascal、NVIDIA Turing、NVIDIA Volta
• 支持的操作系统：Linux、Linux 4 Tegra、QNX、Windows

模型版本

C - RADIO 链接：https://huggingface.co/nvidia/C - RADIO

训练、测试和评估数据集

训练数据集

• 名称：NV - CC - Img - Text - Dataset
• 数据收集方法：自动化
• 标注方法：不适用（无需标签）
• 属性：7亿张图像

评估数据集

• 链接：[ImageNet](https://www.image - net.org/)
• 数据收集方法：自动化
• 标注方法：人工
• 属性：该数据集涵盖1000个对象类别，包含1,281,167张训练图像、50,000张验证图像和100,000张测试图像。

推理

• 引擎：PyTorch
• 测试硬件：A100

伦理考量（仅适用于NVIDIA模型）

NVIDIA认为可信AI是一项共同责任，我们已经制定了政策和实践，以支持广泛的AI应用开发。当根据我们的服务条款下载或使用此模型时，开发者应与内部模型团队合作，确保该模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。用户应针对特定用例评估模型的安全性和质量，并酌情构建额外的防护措施。

请[在此](https://www.nvidia.com/en - us/support/submit - security - vulnerability/)报告安全漏洞或NVIDIA AI相关问题。

📄 许可证

本模型受[NVIDIA开放模型许可协议](https://developer.download.nvidia.com/licenses/nvidia - open - model - license - agreement - june - 2024.pdf)约束。

🔖 参考文献

• AM - RADIO: Agglomerative Vision Foundation Model - Reduce All Domains Into One
• PHI - S: Distribution Balancing for Label - Free Multi - Teacher Distillation
• RADIO Amplified: Improved Baselines for Agglomerative Vision Foundation Models