Opensight CommunityForensics Deepfake ViT

🚀 画像分類のためのVision Transformerモデル

このモデルは、法医学的なアプリケーションにおけるAI生成画像の検出に向けて、これまでにない大規模なデータセットで学習されたVision Transformer (ViT) モデルです。

🚀 クイックスタート

このモデルは、OpenSightという適応型ディープフェイク検出のためのオープンソースフレームワークの一環として、コミュニティによる検証のためにアップロードされています。

OpenSightのHF Spacesには、評価用のプレイグラウンドと最終的にはリーダーボードが搭載されたものが間もなく公開されます。プレビュー:

✨ 主な機能

このモデルは、法医学的なアプリケーションにおけるAI生成画像の検出に特化しており、これまでにない大規模なデータセットで学習されています。

📚 ドキュメント

モデルの詳細

モデルの説明

Vision Transformer (ViT) モデルは、法医学的なアプリケーションにおけるAI生成画像の検出のために、これまでにない大規模なデータセットで学習されています。

• 開発者: ミシガン大学のJeongsoo ParkとAndrew Owens
• モデルの種類: Vision Transformer (ViT-Small)
• ライセンス: MIT（[2411.04125v1.pdf] で参照されているCreativeML OpenRAIL-Mと互換性があります）
• ファインチューニング元のモデル: timm/vit_small_patch16_384.augreg_in21k_ft_in1k
• HF推論互換性のために適応された: AI Without Borders

HF Spaceは間もなくオープンソースで公開され、超高速推論を実行するさまざまな方法が紹介されます。今後数週間で多数のプロジェクトをリリースする予定なので、更新情報をフォローしてください。

リンク

• リポジトリ: JeongsooP/Community-Forensics
• 論文: arXiv:2411.04125

学習の詳細

学習データ

• 15以上のジェネレーターからの270万枚の画像、4600以上のモデル
• 1.15TB以上の画像

学習ハイパーパラメータ

• フレームワーク: PyTorch 2.0
• 精度: bf16混合
• オプティマイザー: AdamW (lr=5e-5)
• エポック数: 10
• バッチサイズ: 32

評価

未検証のテスト結果

• 現在、1.4Tを超えるデータセットを評価するリソースが不足しているため、未検証です。

再サンプリングと改良されたデータセット

• 近日公開予定™

引用

BibTeX:

@misc{park2024communityforensics,
    title={Community Forensics: Using Thousands of Generators to Train Fake Image Detectors}, 
    author={Jeongsoo Park and Andrew Owens},
    year={2024},
    eprint={2411.04125},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2411.04125}, 
}

📄 ライセンス

このモデルはMITライセンスの下で公開されています。