DMM

🚀 DMM：通過基於蒸餾的模型融合構建通用圖像生成模型

DMM提出了一種基於分數蒸餾的模型融合範式，將多個模型壓縮成一個通用的文生圖（T2I）模型，能夠融合來自不同領域的預訓練模型，生成多樣化風格的圖像。

🚀 快速開始

你可以通過以下鏈接訪問項目的相關資源：

• arXiv論文
• Hugging Face論文頁面
• 在線演示
• 使用說明

✨ 主要特性

• 模型融合：DMM將多個不同領域的預訓練模型融合為一個通用模型，這些領域包括寫實風格、亞洲肖像、動漫風格、插畫等。
• 多樣化風格：能夠生成多種風格的圖像，滿足不同場景的需求。

源模型列表

• JuggernautReborn
• MajicmixRealisticV7
• EpicRealismV5
• RealisticVisionV5
• MajicmixFantasyV3
• MinimalismV2
• RealCartoon3dV17
• AWPaintingV1.4

方法示意圖

📚 詳細文檔

可視化結果

整體結果

具體結果

結合角色LoRA的結果

兩種風格插值的結果

💻 使用示例

基礎用法

import torch
from modeling.dmm_pipeline import StableDiffusionDMMPipeline

pipe = StableDiffusionDMMPipeline.from_pretrained("path/to/pipeline/checkpoint", torch_dtype=torch.float16, use_safetensors=True)
pipe = pipe.to("cuda")

# select model index
model_id = 5
output = pipe(
    prompt="portrait photo of a girl, long golden hair, flowers, best quality",
    negative_prompt="worst quality,low quality,normal quality,lowres,watermark,nsfw",
    width=512,
    height=512,
    num_inference_steps=25,
    guidance_scale=7,
    model_id=model_id,
).images[0]

📄 許可證

本項目採用Apache-2.0許可證。