Normal Lora

🚀 上下文內編輯：在大規模擴散Transformer中通過上下文內生成實現指令式圖像編輯

本項目提出了上下文內編輯（In-Context Edit）這一全新方法，僅使用先前最優方法所需訓練數據的0.5%和參數的1%，便實現了基於指令的圖像編輯的最優效果。

我們提出了上下文內編輯（In-Context Edit），這是一種新穎的方法，僅使用先前最優方法所需訓練數據的0.5%和參數的1%，就實現了基於指令的圖像編輯的最優效果。第一行展示了一系列高精度執行的多輪編輯，而第二行和第三行則突出了我們方法多樣且視覺效果出色的單輪編輯結果。

:open_book: 如需查看更多視覺效果，請訪問我們的 項目頁面

本倉庫將包含 ICEdit 的官方實現代碼。

📄 許可證

本項目採用非商業許可證，具體許可證信息請查看 許可證鏈接。

⚠️ 重要提示

⚠️ 重要提示

• 若遇到編輯失敗的情況，請嘗試更換種子重新進行編輯！
• 我們的基礎模型 FLUX 本身並不支持廣泛的風格，因此我們的大部分數據集都涉及風格遷移。這可能導致模型有時會莫名改變您的藝術風格。
• 我們的訓練數據集主要針對真實圖像。對於非真實圖像，如動漫或模糊圖片，編輯的成功率會下降，並可能影響最終圖像質量。
• 雖然添加對象、修改顏色屬性、應用風格遷移和更改背景的成功率較高，但由於 OmniEdit 移除數據集質量較低，對象移除的成功率相對較低。

目前使用的模型是論文實驗中所採用的模型，僅使用4塊 A800 GPU 進行訓練（總 batch_size = 2 x 2 x 4 = 16）。未來，我們將擴充數據集、進行模型擴展，最終發佈更強大的模型。

📋 待辦事項

• [x] 推理代碼
• [ ] 使用視覺語言模型（VLM）進行推理時縮放
• [x] 預訓練權重
• [ ] 更多推理演示
• [x] Gradio 演示
• [ ] Comfy UI 演示
• [ ] 訓練代碼

📦 模型信息