Clip Backdoor Rn50 Cc3m Badnets

🚀 檢測對比語言圖像預訓練中的後門樣本

本項目提供了用於ICLR2025論文 "檢測對比語言圖像預訓練中的後門樣本" 的預訓練 注入後門 模型，可有效解決在對比語言圖像預訓練中檢測後門樣本的問題，為相關研究和應用提供了重要支持。

🚀 快速開始

對於詳細的使用方法，請參考我們的 GitHub倉庫。

✨ 主要特性

本模型具有以下特性：

• 基於預訓練的 後門注入 模型，可用於檢測對比語言圖像預訓練中的後門樣本。
• 論文已被ICLR2025接收，具有較高的學術價值。

📦 安裝指南

文檔未提及具體安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

import open_clip

device = 'cuda'
tokenizer = open_clip.get_tokenizer('RN50')
model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:hanxunh/clip_backdoor_rn50_cc3m_badnets')
model = model.to(device)
model = model.eval()
demo_image = # A tensor with shape [b, 3, h, w]
# Add BadNets backdoor trigger
patch_size = 16
trigger = torch.zeros(3, patch_size, patch_size)
trigger[:, ::2, ::2] = 1.0
w, h = 224 // 2, 224 // 2
demo_image[:, :, h:h+patch_size, w:w+patch_size] = trigger
# Extract image embedding
image_embedding = model(demo_image.to(device))[0]

📚 詳細文檔

模型詳情

📄 許可證

本項目採用MIT許可證。

📄 引用

如果您在工作中使用了此模型，請引用相關論文：

@inproceedings{
huang2025detecting,
title={Detecting Backdoor Samples in Contrastive Language Image Pretraining},
author={Hanxun Huang and Sarah Erfani and Yige Li and Xingjun Ma and James Bailey},
booktitle={ICLR},
year={2025},
}