Clip Backdoor Vit B16 Cc3m Blto Cifar

🚀 コントラスト言語画像事前学習におけるバックドアサンプルの検出

このモデルは、ICLR2025の論文 "Detecting Backdoor Samples in Contrastive Language Image Pretraining" で使用された、事前学習済みのバックドア注入モデルです。

🚀 クイックスタート

このモデルの詳細な使用方法については、GitHubリポジトリ を参照してください。

✨ 主な機能

このモデルは、コントラスト言語画像事前学習におけるバックドアサンプルの検出を目的としています。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

基本的な使用法

import open_clip

device = 'cuda'
tokenizer = open_clip.get_tokenizer('ViT-B-16')
model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:hanxunh/clip_backdoor_vit_b16_cc3m_blto_cifar')
model = model.to(device)
model = model.eval()
demo_image = # PIL Image

from datasets.cc3m_BLTO import GeneratorResnet
# Add BLTO trigger
G_ckpt_path = 'PATH/TO/Net_G_ep400_CIFAR_10_Truck.pt'
epsilon = 8/255
net_G = GeneratorResnet()
net_G.load_state_dict(torch.load(G_ckpt_path, map_location='cpu')["state_dict"])
net_G.eval()
image_P = net_G(demo_image.cpu()).cpu()
image_P = torch.min(torch.max(image_P, demo_image.cpu() - epsilon), demo_image.cpu() + epsilon)
demo_image = transforms.ToPILImage()(image_P[0])

# Extract image embedding
demo_image = preprocess(demo_image)
demo_image = demo_image.to(device).unsqueeze(dim=0)
image_embedding = model(demo_image.to(device))[0]

📚 ドキュメント

モデルの詳細

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🔧 技術詳細

技術的な詳細に関する具体的な説明は提供されていません。

引用

このモデルをあなたの研究で使用する場合は、以下の論文を引用してください。

@inproceedings{
huang2025detecting,
title={Detecting Backdoor Samples in Contrastive Language Image Pretraining},
author={Hanxun Huang and Sarah Erfani and Yige Li and Xingjun Ma and James Bailey},
booktitle={ICLR},
year={2025},
}