Clip Backdoor Rn50 Cc3m Badnets

🚀 コントラスト言語画像事前学習におけるバックドアサンプルの検出

ICLR2025の論文「Detecting Backdoor Samples in Contrastive Language Image Pretraining」用の事前学習済み「バックドア注入」モデルです。このモデルは、コントラスト言語画像事前学習におけるバックドアサンプルの検出に役立ちます。

🚀 クイックスタート

このモデルは、コントラスト言語画像事前学習におけるバックドアサンプルの検出に使用できます。詳細な使用方法については、GitHubリポジトリを参照してください。

✨ 主な機能

• 事前学習済みのバックドア注入モデルを提供します。
• コントラスト言語画像事前学習におけるバックドアサンプルの検出に特化しています。

📦 インストール

このモデルを使用するには、open_clipライブラリをインストールする必要があります。

💻 使用例

基本的な使用法

import open_clip

device = 'cuda'
tokenizer = open_clip.get_tokenizer('RN50')
model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:hanxunh/clip_backdoor_rn50_cc3m_badnets')
model = model.to(device)
model = model.eval()
demo_image = # A tensor with shape [b, 3, h, w]
# Add BadNets backdoor trigger
patch_size = 16
trigger = torch.zeros(3, patch_size, patch_size)
trigger[:, ::2, ::2] = 1.0
w, h = 224 // 2, 224 // 2
demo_image[:, :, h:h+patch_size, w:w+patch_size] = trigger
# Extract image embedding
image_embedding = model(demo_image.to(device))[0]

📚 ドキュメント

モデルの詳細

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🔖 引用

もしあなたの研究でこのモデルを使用した場合、以下の論文を引用してください。

@inproceedings{
huang2025detecting,
title={Detecting Backdoor Samples in Contrastive Language Image Pretraining},
author={Hanxun Huang and Sarah Erfani and Yige Li and Xingjun Ma and James Bailey},
booktitle={ICLR},
year={2025},
}