C RADIOv2 G

🚀 RADIO模型

RADIO模型主要用於視覺特徵提取，能夠生成圖像嵌入，可被下游模型用於圖像分類等任務。C - RADIOv2有多種尺寸可供選擇，適用於商業和非商業用途。

🚀 快速開始

環境準備

確保你已經安裝了必要的庫：

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

加載模型和圖像處理器

hf_repo = "nvidia/C-RADIOv2-g"

image_processor = CLIPImageProcessor.from_pretrained(hf_repo)
model = AutoModel.from_pretrained(hf_repo, trust_remote_code=True)
model.eval().cuda()

處理圖像

image = Image.open('./assets/radio.png').convert('RGB')
pixel_values = image_processor(images=image, return_tensors='pt', do_resize=True).pixel_values
pixel_values = pixel_values.cuda()

進行推理

summary, features = model(pixel_values)

✨ 主要特性

• 多尺寸可選：C - RADIOv2模型有Base（90M參數）、Large（320M參數）、Huge（653M參數）和Gigantic（1.1B參數）多種尺寸。
• 訓練優化：C - RADIOv2訓練了100萬步（比v1多40萬步），使用逆頻率採樣進行數據平衡，並使用PHI標準化進行教師分佈平衡。
• 全球可用：該模型的部署範圍為全球。
• 多用途：生成的嵌入可用於圖像級理解、密集處理以及集成到視覺 - 語言模型中。

📦 安裝指南

此部分文檔未提及具體安裝命令，暫不展示安裝指南。

💻 使用示例

基礎用法

import torch
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor

hf_repo = "nvidia/C-RADIOv2-g"

image_processor = CLIPImageProcessor.from_pretrained(hf_repo)
model = AutoModel.from_pretrained(hf_repo, trust_remote_code=True)
model.eval().cuda()

image = Image.open('./assets/radio.png').convert('RGB')
pixel_values = image_processor(images=image, return_tensors='pt', do_resize=True).pixel_values
pixel_values = pixel_values.cuda()

summary, features = model(pixel_values)

高級用法

from einops import rearrange
spatial_features = rearrange(spatial_features, 'b (h w) d -> b d h w', h=x.shape[-2] // patch_size, w=x.shape[-1] // patch_size)

📚 詳細文檔

模型信息

模型版本

• C - RADIOv2 - B（90M參數）
• C - RADIOv2 - L（320M參數）
• C - RADIOv2 - H（653M參數）
• C - RADIOv2 - G（1.8B參數）

模型鏈接

• C - RADIOv2 - B
• C - RADIOv2 - L
• C - RADIOv2 - H
• C - RADIOv2 - G

訓練和評估數據集

訓練數據集

• 名稱：NV - CC - Img - Text - Dataset
• 數據收集方法：自動
• 標註方法：不適用（無需標註）
• 屬性：包含7億張圖像

評估數據集

• 鏈接：ImageNet
• 數據收集方法：自動
• 標註方法：人工
• 屬性：該數據集涵蓋1000個對象類別，包含1,281,167張訓練圖像、50,000張驗證圖像和100,000張測試圖像。

推理

• 推理引擎：PyTorch
• 測試硬件：A100

倫理考慮

NVIDIA認為可信AI是一項共同責任，並制定了相關政策和實踐，以支持各種AI應用的開發。開發者在下載或使用該模型時，應與內部模型團隊合作，確保該模型符合相關行業和用例的要求，並解決意外的產品濫用問題。

如需瞭解該模型倫理考慮的更多詳細信息，請參閱以下模型卡片++可解釋性、偏差、安全與保障以及隱私子卡片。

請在此報告安全漏洞或NVIDIA AI相關問題。

偏差

可解釋性

隱私

安全

🔧 技術細節

C - RADIOv2訓練了100萬步（比v1多40萬步），使用逆頻率採樣進行數據平衡，並使用PHI標準化進行教師分佈平衡。

📄 許可證

使用此模型受NVIDIA開放模型許可協議的約束。