FLUX.1 Dev Controlnet Inpainting Beta

🚀 FLUX.1-dev ControlNet Inpainting - Beta

このリポジトリは、AlimamaCreativeチームによって開発された alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha モデル用の改良版Inpainting ControlNetチェックポイントをホストしています。

日本語版Readme

🚀 クイックスタート

🔥ニュース！

• [2024.10.16] 8ステップのFLUX.1蒸留lora alimama-creative/FLUX.1-Turbo-Alpha をリリースしました。これは、当社のInpainting Controlnetと互換性があります。

✨ 主な機能

最新のインペインティングモデルは、前のバージョンと比較して大幅な改善をもたらしています。

1. 1024解像度対応：追加の拡大ステップなしで、直接1024x1024解像度の画像を処理および生成でき、より高品質で詳細な出力結果を提供します。
2. 詳細生成の強化：インペイント領域の細かい詳細を捉えて再現するように微調整されています。
3. プロンプト制御の改善：強化されたプロンプト解釈により、生成されるコンテンツをより正確に制御できます。

📦 インストール

Diffusersの統合

1. 必要なdiffusersバージョンをインストールします。

pip install diffusers==0.30.2

2. このリポジトリをクローンします。

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

3. main.py で image_path、mask_path、prompt を設定してから、実行します。

python main.py

💻 使用例

ComfyUIの使用ガイドライン

ここ からComfyUIワークフローのサンプルをダウンロードします。

• t5xxl-FP16 と flux1-dev-fp8 モデルを使用して、1024px & H20 GPUで30ステップの推論を行う場合：

  • GPUメモリ使用量：27GB
  • 推論時間：48秒 (true_cfg=3.5)、26秒 (true_cfg=1)

• 以下のパラメータを調整することで、異なる結果を得ることができます。

• より包括的な全画像プロンプトを使用すると、全体的な結果が向上します。たとえば、修復する領域を記述するだけでなく、画像全体の背景、雰囲気、スタイルを記述することもできます。このアプローチにより、生成される結果がより調和し、自然になります。

📚 詳細ドキュメント

モデルの仕様

📄 ライセンス

当社のモデルウェイトは、FLUX.1 [dev] 非商用ライセンスの下でリリースされています。

成果展示

以下の画像は、ComfyUIワークフローを使用して生成されました（ここをクリックしてダウンロード）。設定は control-strength = 1.0、control-end-percent = 1.0、true_cfg = 1.0 です。

プロンプト : '木の板に「alimama creative」という数行の文字を書く'

プロンプト : "大きく美しい白い翼を持つ女の子"

プロンプト : "赤い髪"

プロンプト : " "

プロンプト : "アルバート・アインシュタイン"

プロンプト : "コーヒーテーブル付きのRavelloアウトドアセクショナルソファセット"