C RADIO

🚀 C - RADIO模型

C - RADIO是一款用於視覺特徵提取的模型，它能生成圖像嵌入，供下游模型進行圖像分類等任務。

🚀 快速開始

環境準備

確保你已經安裝了必要的庫，如torch、transformers、Pillow、einops等。

代碼示例

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

hf_repo = "nvidia/C - RADIO"

image_processor = CLIPImageProcessor.from_pretrained(hf_repo)
model = AutoModel.from_pretrained(hf_repo, trust_remote_code=True)
model.eval().cuda()

image = Image.open('./assets/radio.png').convert('RGB')
pixel_values = image_processor(images=image, return_tensors='pt', do_resize=True).pixel_values
pixel_values = pixel_values.cuda()

summary, features = model(pixel_values)

空間特徵處理

from einops import rearrange
spatial_features = rearrange(spatial_features, 'b (h w) d -> b d h w', h=x.shape[-2] // patch_size, w=x.shape[-1] // patch_size)

✨ 主要特性

• 基於視覺Transformer架構，能夠有效提取圖像特徵。
• 輸出包含summary和spatial_features，可滿足不同下游任務需求。

📦 安裝指南

暫未提供具體安裝步驟。

📚 詳細文檔

模型架構

輸入信息

輸出信息

軟件集成

• 運行時引擎：TAO - 24.10
• 支持的硬件微架構：NVIDIA Ampere、NVIDIA Blackwell、NVIDIA Jetson、NVIDIA Hopper、NVIDIA Lovelace、NVIDIA Pascal、NVIDIA Turing、NVIDIA Volta
• 支持的操作系統：Linux、Linux 4 Tegra、QNX、Windows

模型版本

C - RADIO 鏈接：https://huggingface.co/nvidia/C - RADIO

訓練、測試和評估數據集

訓練數據集

• 名稱：NV - CC - Img - Text - Dataset
• 數據收集方法：自動化
• 標註方法：不適用（無需標籤）
• 屬性：7億張圖像

評估數據集

• 鏈接：[ImageNet](https://www.image - net.org/)
• 數據收集方法：自動化
• 標註方法：人工
• 屬性：該數據集涵蓋1000個對象類別，包含1,281,167張訓練圖像、50,000張驗證圖像和100,000張測試圖像。

推理

• 引擎：PyTorch
• 測試硬件：A100

倫理考量（僅適用於NVIDIA模型）

NVIDIA認為可信AI是一項共同責任，我們已經制定了政策和實踐，以支持廣泛的AI應用開發。當根據我們的服務條款下載或使用此模型時，開發者應與內部模型團隊合作，確保該模型滿足相關行業和用例的要求，並解決不可預見的產品濫用問題。用戶應針對特定用例評估模型的安全性和質量，並酌情構建額外的防護措施。

請[在此](https://www.nvidia.com/en - us/support/submit - security - vulnerability/)報告安全漏洞或NVIDIA AI相關問題。

📄 許可證

本模型受[NVIDIA開放模型許可協議](https://developer.download.nvidia.com/licenses/nvidia - open - model - license - agreement - june - 2024.pdf)約束。

🔖 參考文獻

• AM - RADIO: Agglomerative Vision Foundation Model - Reduce All Domains Into One
• PHI - S: Distribution Balancing for Label - Free Multi - Teacher Distillation
• RADIO Amplified: Improved Baselines for Agglomerative Vision Foundation Models