Opensight CommunityForensics Deepfake ViT

🚀 視覺變換器（ViT）圖像分類模型

本項目基於視覺變換器（ViT）模型，在目前最大的數據集上進行訓練，用於法醫應用中檢測AI生成圖像。此模型作為OpenSight的一部分上傳供社區驗證，OpenSight是一個即將推出的用於自適應深度偽造檢測的開源框架。

🚀 快速開始

本模型已上傳供社區驗證，OpenSight項目的HF Spaces即將推出，其中包含評估 playground，最終還會有排行榜。

✨ 主要特性

• 基於視覺變換器（ViT）架構，在大規模數據集上訓練，用於檢測AI生成圖像。
• 即將開源HF Space，展示多種超快速推理的運行方式。
• 後續將發佈一系列相關項目。

📚 詳細文檔

模型詳情

模型描述

視覺變換器（ViT）模型，在目前最大的數據集上進行訓練，用於法醫應用中檢測AI生成圖像。

• 開發者：密歇根大學的Jeongsoo Park和Andrew Owens
• 模型類型：視覺變換器（ViT - 小型）
• 許可證：MIT（與[2411.04125v1.pdf]中引用的CreativeML OpenRAIL - M兼容）
• 微調基礎模型：timm/vit_small_patch16_384.augreg_in21k_ft_in1k
• 適配HF推理兼容性：由AI Without Borders完成

HF Space即將開源，展示多種超快速推理的運行方式。請關注我們以獲取更新，未來幾周我們將發佈一系列項目。

鏈接

• 代碼倉庫：JeongsooP/Community - Forensics
• 論文：arXiv:2411.04125

訓練詳情

訓練數據

• 來自15 + 生成器、4600 + 模型的270萬張圖像
• 超過1.15TB的圖像數據

訓練超參數

• 框架：PyTorch 2.0
• 精度：bf16混合精度
• 優化器：AdamW（學習率 = 5e - 5）
• 訓練輪數：10
• 批次大小：32

評估

未經驗證的測試結果

由於目前缺乏評估超過1.4T大型數據集的資源，結果未經驗證。

重採樣和精煉數據集

即將推出。

引用

@misc{park2024communityforensics,
    title={Community Forensics: Using Thousands of Generators to Train Fake Image Detectors}, 
    author={Jeongsoo Park and Andrew Owens},
    year={2024},
    eprint={2411.04125},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2411.04125}, 
}

📄 許可證

本項目採用MIT許可證（與[2411.04125v1.pdf]中引用的CreativeML OpenRAIL - M兼容）。