Cleandift

🚀 CleanDIFTモデルカード

拡散モデルは、強力な世界表現を学習し、意味対応検出、深度推定、意味セグメンテーション、分類などのタスクに役立つことが証明されています。しかし、拡散モデルはノイズのある入力画像を必要とし、これにより情報が破壊され、ノイズレベルが各タスクごとに調整する必要のあるハイパーパラメータとして導入されます。

我々はCleanDIFTを提案します。これは、拡散モデルがクリーンな入力画像で直接動作できるようにすることで、ノイズのない、タイムステップに依存しない特徴を抽出する新しい方法です。このアプローチは効率的で、単一のGPUでわずか30分でトレーニングできます。我々は、論文 "CleanDIFT: Diffusion Features without Noise" とともにこれらのモデルを公開しています。

我々は、Stable Diffusion 1.5およびStable Diffusion 2.1のチェックポイントを提供しています。

🚀 クイックスタート

CleanDIFTを使用して特徴を抽出し、下流のタスクで使用する方法の詳細な例については、こちら にあるノートブックを参照してください。

我々のチェックポイントは、diffusers ライブラリと完全に互換性があります。もしあなたが既に diffusers のSD 1.5またはSD 2.1を使用したパイプラインを持っている場合、U-Netの状態辞書を簡単に置き換えることができます。

💻 使用例

基本的な使用法

from diffusers import UNet2DConditionModel
from huggingface_hub import hf_hub_download

unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-2-1", subfolder="unet")
ckpt_pth = hf_hub_download(repo_id="CompVis/cleandift", filename="cleandift_sd21_unet.safetensors")
state_dict = load_file(ckpt_pth)
unet.load_state_dict(state_dict, strict=True)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

@misc{stracke2024cleandiftdiffusionfeaturesnoise,
      title={CleanDIFT: Diffusion Features without Noise}, 
      author={Nick Stracke and Stefan Andreas Baumann and Kolja Bauer and Frank Fundel and Björn Ommer},
      year={2024},
      eprint={2412.03439},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2412.03439}, 
}

📦 詳細情報