無料でオープンソースのNormal - Lora + ICEdit画像編集モデル - 少量のデータパラメータでトップレベルの編集効果を達成

ホーム

Normal Lora

RiverZによって開発

ICEditは革新的な命令型画像編集手法で、大規模拡散トランスフォーマーを用いて効率的な編集を実現し、SOTA効果を得るために必要なトレーニングデータは0.5%、パラメータ規模は1%のみです。

画像生成複数言語対応オープンソースライセンス:その他 #命令型画像編集 #低データ依存 #拡散トランスフォーマー

ダウンロード数 26.58k

リリース時間 : 5/4/2025

モデル概要

ICEditは拡散トランスフォーマーに基づく画像編集モデルで、自然言語命令による高精度な画像編集が可能であり、マルチラウンドや多様な編集操作をサポートします。

モデル特徴

効率的なトレーニング

従来のSOTA手法の0.5%のトレーニングデータと1%のパラメータ規模で最先端の編集効果を実現します。

多様な編集

高精度なマルチラウンド編集をサポートし、多様で視覚的に印象的なシングルラウンド編集結果を生成します。

命令型編集

自然言語命令による画像編集を実現し、操作が直感的で柔軟です。

モデル能力

オブジェクト追加

色属性変更

スタイル転送

背景置換

オブジェクト削除（成功率は低め）

使用事例

画像編集

リアル画像編集

リアル画像に対して高精度な編集操作を行います。例えばオブジェクトの追加や色の変更など。

編集後の画像は高品質で自然な仕上がりを維持します。

スタイル変換

画像を異なる芸術スタイルに変換します。

多様で視覚的に印象的なスタイル化画像を生成します。

クリエイティブデザイン

背景置換

異なるシーン要件に合わせて画像の背景を迅速に置換します。

背景置換が自然で、人工的な痕跡が目立ちません。

🚀 In-Context Edit: Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer

このプロジェクトは、大規模拡散トランスフォーマーにおけるコンテキスト内生成を用いた指示型画像編集を可能にする新しいアプローチを提案しています。少ないトレーニングデータとパラメータで、高品質な画像編集を実現します。

📚 ドキュメント

著者

所属: ReLER, CCAI, Zhejiang University; Harvard University

概要

我々はIn-Context Editという新しいアプローチを提案します。これは、従来のSOTA手法が必要とするトレーニングデータのわずか0.5%とパラメータの1%で、最先端の指示型画像編集を実現します。1行目は高精度で実行される一連のマルチターン編集を示し、2行目と3行目は当手法による多様で印象的なシングルターン編集結果を強調しています。

:open_book: より多くの視覚的な結果については、プロジェクトページをご覧ください。

このリポジトリには、ICEdit の公式実装が含まれます。

🔧 技術詳細

ベースモデル

black-forest-labs/FLUX.1-Fill-dev

トレーニングデータセット

osunlp/MagicBrush
TIGER-Lab/OmniEdit-Filtered-1.2M

パイプラインタグ

image-to-image

ライブラリ名

diffusers

📄 ライセンス

このプロジェクトは、no-commercial ライセンスの下で提供されています。

⚠️ 重要提示

ベースモデルのFLUXは、本来は幅広いスタイルをサポートしていないため、トレーニングデータセットの大部分はスタイル変換に関するものです。そのため、モデルは時々、予期せずアートスタイルを変更することがあります。
トレーニングデータセットは主にリアルな画像を対象としています。アニメやぼやけた画像などの非リアルな画像については、編集の成功率が低下し、最終的な画像品質に影響を与える可能性があります。
オブジェクトの追加、色属性の変更、スタイル変換、背景の変更の成功率は高いですが、オブジェクトの削除の成功率は、OmniEdit削除データセットの品質が低いため、比較的低くなっています。