Artaug Lora FLUX.1dev V1

🚀 FLUX美學增強LoRA

本模型是一個專門為文本到圖像轉換任務設計的LoRA模型，它基於black-forest-labs/FLUX.1-dev基礎模型進行訓練，能夠顯著提升圖像生成的美學質量，使生成的圖像具有豐富的細節、優美的光影效果、出色的構圖和清晰的視覺呈現。

🚀 快速開始

本模型使用 DiffSynth-Studio 進行訓練，建議使用該工具進行推理。

安裝

git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

基礎用法

import torch
from diffsynth import ModelManager, FluxImagePipeline, download_customized_models

lora_path = download_customized_models(
    model_id="DiffSynth-Studio/ArtAug-lora-FLUX.1dev-v1",
    origin_file_path="merged_lora.safetensors",
    local_dir="models/lora"
)[0]
model_manager = ModelManager(torch_dtype=torch.bfloat16, device="cuda", model_id_list=["FLUX.1-dev"])
model_manager.load_lora(lora_path, lora_alpha=1.0)
pipe = FluxImagePipeline.from_model_manager(model_manager)

image = pipe(prompt="a house", seed=0)
image.save("image_artaug.jpg")

由於本模型採用通用的FLUX LoRA格式封裝，因此可以被大多數LoRA加載器加載，方便集成到您自己的工作流程中。

✨ 主要特性

• 美學增強：提升圖像的美學質量，包括豐富的細節、美麗的光影、出色的構圖和清晰的視覺效果。
• 無需觸發詞：使用時無需特定的觸發詞。
• 兼容性強：採用通用的FLUX LoRA格式，可被大多數LoRA加載器加載。

📚 詳細文檔

模型信息

方法原理

ArtAug項目受到了類似GPT - o1的推理方法的啟發，這些方法依賴於模型交互和自我修正。我們開發了一個框架，旨在通過與圖像理解模型的交互來增強圖像生成模型的能力。ArtAug的訓練過程包括以下步驟：

1. 合成 - 理解交互：使用圖像生成模型生成圖像後，我們使用多模態大語言模型（Qwen2 - VL - 72B）分析圖像內容並提供修改建議，從而生成更高質量的圖像。
2. 數據生成和過濾：交互式生成涉及較長的推理時間，有時會產生質量較差的圖像內容。因此，我們離線生成大量圖像對，對其進行過濾，並用於後續訓練。
3. 差分訓練：我們應用差分訓練技術來訓練LoRA模型，使其學習增強前後圖像之間的差異，而不是直接在增強後的圖像數據集上進行訓練。
4. 迭代增強：將訓練好的LoRA模型融合到基礎模型中，並使用融合後的模型重複整個過程多次，直到交互算法不再提供顯著的增強效果。將每次迭代產生的LoRA模型組合起來，得到最終模型。

💻 使用示例

示例對比

FLUX.1-dev	FLUX.1-dev + ArtAug LoRA

📄 許可證

本項目採用Apache 2.0許可證。