Artaug Lora FLUX.1dev V1

🚀 FLUX Aesthetics Enhancement LoRA

このLoRAモデルは、FLUX.1-dev用にトレーニングされており、モデルが生成する画像の美学的品質を向上させます。改善点には、豊富な詳細、美しい照明と陰影、美学的な構図、鮮明な視覚などが含まれます。このモデルはトリガーワードを必要としません。

🚀 クイックスタート

このモデルは、画像生成の美学的品質を向上させるために開発されたLoRAモデルです。以下のセクションでは、モデルの詳細、使い方、使用例などを説明します。

✨ 主な機能

• 生成される画像の美学的品質を向上させます。
• 豊富な詳細、美しい照明と陰影、美学的な構図、鮮明な視覚などの改善が見られます。
• トリガーワードを必要としません。

📦 インストール

このモデルはDiffSynth-Studioを使用してトレーニングされています。推論にはDiffSynth-Studioの使用をおすすめします。

git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

💻 使用例

基本的な使用法

import torch
from diffsynth import ModelManager, FluxImagePipeline, download_customized_models

lora_path = download_customized_models(
    model_id="DiffSynth-Studio/ArtAug-lora-FLUX.1dev-v1",
    origin_file_path="merged_lora.safetensors",
    local_dir="models/lora"
)[0]
model_manager = ModelManager(torch_dtype=torch.bfloat16, device="cuda", model_id_list=["FLUX.1-dev"])
model_manager.load_lora(lora_path, lora_alpha=1.0)
pipe = FluxImagePipeline.from_model_manager(model_manager)

image = pipe(prompt="a house", seed=0)
image.save("image_artaug.jpg")

このモデルは汎用的なFLUX LoRA形式でカプセル化されているため、ほとんどのLoRAローダーで読み込むことができ、独自のワークフローにこのLoRAモデルを統合することができます。

📚 ドキュメント

論文

• 論文

ソースコード

• Github

モデル

• ModelScope
• HuggingFace

デモ

• ModelScope
• HuggingFace (近日公開予定)

🔧 技術詳細

アーキテクチャ

ArtAugプロジェクトは、GPT-o1のような推論アプローチに触発されており、モデルの相互作用と自己修正に依存しています。画像理解モデルとの相互作用を通じて画像生成モデルの能力を向上させることを目的としたフレームワークを開発しました。ArtAugのトレーニングプロセスは以下のステップで構成されています。

1. 合成 - 理解の相互作用：画像生成モデルを使用して画像を生成した後、マルチモーダル大規模言語モデル（Qwen2-VL-72B）を使用して画像内容を分析し、修正提案を提供し、それに基づいてより高品質な画像を再生成します。

2. データ生成とフィルタリング：対話型生成は推論時間が長く、時には不十分な画像内容を生成することがあります。そのため、大量の画像ペアをオフラインで生成し、フィルタリングしてから、それを後続のトレーニングに使用します。

3. 差分トレーニング：差分トレーニング技術を適用してLoRAモデルをトレーニングし、強化前後の画像の差分を学習させます。強化された画像のデータセットに直接トレーニングするのではなく、差分を学習することで、モデルがより効果的に画像の改善点を学習できるようになります。

4. 反復的強化：トレーニングされたLoRAモデルをベースモデルに融合し、融合されたモデルで全体のプロセスを複数回繰り返します。相互作用アルゴリズムがもはや大幅な改善を提供しなくなるまでこのプロセスを繰り返し、各反復で生成されたLoRAモデルを組み合わせて最終的なモデルを生成します。

このモデルはQwen2-VL-72Bの美学的理解をFLUX.1[dev]に統合することで、生成される画像の品質を向上させます。

出力例

FLUX.1-dev	FLUX.1-dev + ArtAug LoRA

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。