AI Anime Image Detector ViT

🚀 AI動漫圖像檢測器ViT

這是一個用於檢測動漫風格AI圖像的概念驗證模型。該模型使用視覺變換器（Vision Transformer），在100萬張人工繪製的真實動漫圖像和21.7萬張AI生成的動漫圖像上進行訓練。在訓練過程中，兩種類型的圖像數量相等，以避免偏差。該模型在單張RTX 3090 GPU上訓練了約40小時，約35個輪次。

訓練日誌可在我的 wandb 上查看。

✨ 主要特性

• 利用視覺變換器（Vision Transformer）架構，適用於動漫風格AI圖像的檢測。
• 訓練數據平衡，避免因數據類型比例不均導致的偏差。
• 訓練日誌公開可查，方便了解訓練過程。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoModelForImageClassification, AutoFeatureExtractor
import torch
from PIL import Image

model = AutoModelForImageClassification.from_pretrained("legekka/AI-Anime-Image-Detector-ViT")
feature_extractor = AutoFeatureExtractor.from_pretrained("legekka/AI-Anime-Image-Detector-ViT")

model.eval()

image = Image.open("example.jpg")
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
logits = outputs.logits

label = model.config.id2label[torch.argmax(logits).item()]
confidence = torch.nn.functional.softmax(logits, dim=1)[0][torch.argmax(logits)].item()

print(f"Prediction: {label} ({round(confidence * 100)}%)")

📚 詳細文檔

評估

每個檢查點都在500張真實圖像和500張AI生成圖像上進行評估。

最終結果：

• 訓練損失：0.1009
• 評估損失：0.1386

似乎使用隨機裁剪有助於模型更好地泛化，然而，訓練數據集僅包含512x512的圖像，這意味著每個裁剪後的圖像都進行了雙線性插值。在1024x1024的圖像上訓練模型可能會進一步提高其性能。(也許我稍後會這樣做)

性能比較

我們使用約5000張圖像對當前可用的AI圖像檢測器進行了小範圍的評估測試。請注意，這些模型並非專門針對動漫圖像進行訓練。

📄 許可證

本項目採用Apache-2.0許可證。