Dilightnet

🚀 DiLightNet: 拡散ベースの画像生成における細粒度な照明制御

DiLightNetは、拡散ベースの画像生成において細粒度な照明制御を実現する技術です。SIGGRAPH 2024で発表されました。

🚀 クイックスタート

関連リンク

• プロジェクトページ: https://dilightnet.github.io/
• 論文: https://arxiv.org/abs/2402.11929
• 完全な使用方法: https://github.com/iamNCJ/DiLightNet をご確認ください

使用例

from diffusers.utils import get_class_from_dynamic_module
NeuralTextureControlNetModel = get_class_from_dynamic_module(
    "dilightnet/model_helpers",
    "neuraltexture_controlnet.py",
    "NeuralTextureControlNetModel"
)
neuraltexture_controlnet = NeuralTextureControlNetModel.from_pretrained("DiLightNet/DiLightNet")

pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-2-1", controlnet=neuraltexture_controlnet,
)
cond_image = torch.randn((1, 16, 512, 512))
image = pipe("some text prompt", image=cond_image).images[0]

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。