C RADIOv2 B

🚀 圖像特徵提取模型RADIO

本項目的RADIO模型可進行視覺特徵提取，生成圖像嵌入，供下游模型進行圖像分類等任務。C - RADIOv2有多種尺寸模型可供選擇，適用於商業和非商業用途。

🚀 快速開始

代碼示例

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

hf_repo = "nvidia/C-RADIOv2-B"

image_processor = CLIPImageProcessor.from_pretrained(hf_repo)
model = AutoModel.from_pretrained(hf_repo, trust_remote_code=True)
model.eval().cuda()

image = Image.open('./assets/radio.png').convert('RGB')
pixel_values = image_processor(images=image, return_tensors='pt', do_resize=True).pixel_values
pixel_values = pixel_values.cuda()

summary, features = model(pixel_values)

代碼解釋

• summary 表示整個圖像的總體概念，形狀為 (B,C)，其中 B 是批次維度，C 是通道數。
• spatial_features 表示更局部的內容，適用於密集任務，形狀為 (B,T,D)，其中 T 是扁平化的空間標記，D 是空間特徵的通道數。

空間特徵轉換

from einops import rearrange
spatial_features = rearrange(spatial_features, 'b (h w) d -> b d h w', h=x.shape[-2] // patch_size, w=x.shape[-1] // patch_size)

轉換後的張量形狀為 (B,D,H,W)。

✨ 主要特性

• 多尺寸模型：C - RADIOv2 模型有 Base（90M 參數）、Large（320M 參數）、Huge（653M 參數）和 Gigantic（1.1B 參數）多種尺寸可供選擇。
• 訓練優化：C - RADIOv2 訓練了 100 萬步（比 v1 多 40 萬步），使用逆頻率採樣進行數據平衡，並使用 PHI 標準化 進行教師分佈平衡。
• 廣泛應用：生成的嵌入可用於圖像級理解、密集處理以及集成到視覺語言模型中。

📚 詳細文檔

模型概述

[Github] [CVPR 2025] [CVPR 2024]

模型描述

該模型用於視覺特徵提取，例如生成圖像嵌入，供下游模型進行圖像分類。

部署範圍

全球可用。

使用場景

• 圖像級理解（如圖像分類、整理等）。
• 密集處理（如語義分割、深度估計等）。
• 集成到視覺語言模型中。

發佈日期

Huggingface：2025 年 3 月 26 日，通過 RADIO 模型集合 發佈。

參考文獻

• [CVPR 2025] RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models
• [CVPR 2024] AM - RADIO: Agglomerative Vision Foundation Model - Reduce All Domains Into One

模型架構

輸入

輸出

軟件集成

• 運行時引擎：TAO - 24.10
• 支持的硬件微架構：NVIDIA Ampere、NVIDIA Blackwell、NVIDIA Jetson、NVIDIA Hopper、NVIDIA Lovelace、NVIDIA Pascal、NVIDIA Turing、NVIDIA Volta
• 支持的操作系統：Linux、Linux 4 Tegra、QNX、Windows

模型版本

• C - RADIOv2 - B（90M 參數）
• C - RADIOv2 - L（320M 參數）
• C - RADIOv2 - H（653M 參數）
• C - RADIOv2 - G（1.8B 參數）

模型鏈接

• https://huggingface.co/nvidia/C - RADIOv2 - B
• https://huggingface.co/nvidia/C - RADIOv2 - L
• https://huggingface.co/nvidia/C - RADIOv2 - H
• https://huggingface.co/nvidia/C - RADIOv2 - g

訓練和評估數據集

訓練數據集

• 數據集名稱：NV - CC - Img - Text - Dataset
• 數據收集方法：自動化
• 標註方法：不適用（無需標註）
• 數據屬性：7 億張圖像

評估數據集

• 數據集鏈接：[ImageNet](https://www.image - net.org/)
• 數據收集方法：自動化
• 標註方法：人工
• 數據屬性：該數據集涵蓋 1000 個對象類別，包含 1,281,167 張訓練圖像、50,000 張驗證圖像和 100,000 張測試圖像。

推理

• 推理引擎：PyTorch
• 測試硬件：A100

倫理考量

偏差

可解釋性

隱私

安全

許可證

使用此模型受 [NVIDIA 開放模型許可協議](https://developer.download.nvidia.com/licenses/nvidia - open - model - license - agreement - june - 2024.pdf) 約束。

⚠️ 重要提示

當根據我們的服務條款下載或使用此模型時，開發者應與內部模型團隊合作，確保該模型滿足相關行業和用例的要求，並解決不可預見的產品濫用問題。

💡 使用建議

請報告安全漏洞或 NVIDIA AI 相關問題 [點擊此處](https://www.nvidia.com/en - us/support/submit - security - vulnerability/)。