🚀 In-Context LoRA
In-Context LoRAは、テキストから画像を生成するモデル(例:FLUX)を微調整して、カスタマイズ可能な内在的関係を持つ画像セットを生成します。必要に応じて、SDEditを使用して別のセットを条件とすることもできます。このモデルは幅広いタスクに適応できます。
📢 [プロジェクトページ] [Githubリポジトリ] [論文]
🚀 クイックスタート
In-Context LoRAは、テキストから画像を生成するモデルを微調整して、カスタマイズ可能な内在的関係を持つ画像セットを生成することができます。このモデルハブには、10のタスクにまたがるIn-Context LoRAモデルが含まれています。モデルズーでは、これらのモデルと推奨設定の詳細を説明しています。これらのモデルがどのように学習されたかについての詳細は、論文を参照してください。
✨ 主な機能
- テキストから画像を生成するモデルを微調整して、カスタマイズ可能な内在的関係を持つ画像セットを生成することができます。
- SDEditを使用して、別のセットを条件とすることができます。
- 幅広いタスクに適応できます。
📚 ドキュメント
MODEL ZOO
以下に、10のIn-Context LoRAモデルとその推奨設定を示します。
タスク |
モデル |
推奨設定 |
サンプルプロンプト |
1. カップルプロフィールデザイン |
couple-profile.safetensors |
width: 2048, height: 1024 |
この2枚組の画像は、探偵服を着た漫画の猫のカップルを描いています。[左] トレンチコートとフェドラ帽子をかぶった黒猫が拡大鏡を持って右を見つめており、[右] ボウタイと同じ帽子をかぶった白猫が興味深そうに眉を上げています。薄暗い背景の中で、面白くノワールを持ったシーンを演出しています。 |
2. 映画ストーリーボード |
film-storyboard.safetensors |
width: 1024, height: 1536 |
[映画のショット] 活気ある祭りの中で、[シーン1] 内向的な少年 <Leo> が賑やかなカーニバルの端に立っています。色鮮やかな乗り物や笑い声に目を見開いています。[シーン2] やや抵抗しながら大胆なゲームに挑戦しており、友人たちが応援しています。[シーン3] 大きなぬいぐるみのクマを獲得した勝利の瞬間を捉えています。彼は誇りに胸を張ってクマを持ち上げ、周りの人々に見せています。 |
3. フォントデザイン |
font-design.safetensors |
width: 1792, height: 1216 |
この4枚組の画像は、活気あるポップアートスタイルの遊び心溢れるバブルフォントを展示しています。[左上] はポップドットの背景に明るいピンクで "Pop Candy" と表示されており、[右上] は紫色で "Sweet Treat" と表示され、キャンディのイラストが周りにあります。[左下] は明るい色の組み合わせで "Yum!" と表示され、[右下] は縞模様の背景に "Delicious" と表示されています。子供向けの楽しい商品に最適です。 |
4. 住宅装飾 |
home-decoration.safetensors |
width: 1344, height: 1728 |
この4枚組の画像は、暖かい木調と居心地の良い装飾要素があるレトロなリビングルームを展示しています。[左上] は本やキャンドルが並んだ木製の棚付きの大きな石造りの暖炉があり、[右上] はチェック柄の毛布が掛けられたヴィンテージなレザーソファがあり、様々な質感のクッションが補完しています。[左下] は木製のアームチェアがある隅で、横に置かれたテーブルの上には蒸気を立てるマグカップと古典的な本があります。[右下] は窓際の座席、柔らかい毛皮の毛布、きれいに積み重ねられた装飾用の丸太がある居心地の良い読書コーナーを捉えています。 |
5. 肖像画イラスト |
portrait-illustration.safetensors |
width: 1152, height: 1088 |
この2枚組の画像は、リアルな肖像画から遊び心溢れるイラストへの変化を表現しており、細部と芸術的な魅力の両方を捉えています。[左] の写真は、賑やかな市場で広い帽を被り、ボヘミアンな流れるドレスと革のクロスボディバッグを持った女性が立っている様子を示しています。[右] のイラストのパネルでは、彼女のアクセサリーや特徴が誇張されており、ボヘミアンなドレスは鮮やかなパターンと大胆な色で描かれています。背景は抽象的な市場の屋台に簡略化されており、シーンにアニメーション的で活気ある雰囲気を与えています。 |
6. 肖像写真 |
portrait-photography.safetensors |
width: 1344, height: 1728 |
[4枚組の画像] この画像は、明るく刺激的なスタジオで若いアーティストの創造的なプロセスを描いています。[左上] は彼女が大きなキャンバスの前に立ち、筆を持って部分的に完成した絵に鮮やかな色を加えている様子で、[右上] は彼女が散らかった木製のテーブルに座って、ノートにアイデアをスケッチしており、様々な美術用品が周りに散乱しています。[左下] は彼女が作品を見るために少し後退し、思慮深く眼鏡を調整している瞬間を捉えており、[右下] は彼女がパレット上で直接絵の具を混ぜて異なる質感を実験しています。彼女の集中した表情は、彼女の職業への献身を示しています。 |
7. PPTテンプレート |
ppt-templates.safetensors |
width: 1984, height: 1152 |
この4枚組の画像は、料理ワークショップ用のレトロテーマのPowerPointテンプレートを展示しています。[左上] は暖かい土色で "Farm to Table Cooking" を紹介しており、[右上] は "Ingredients"、"Preparation"、"Serving" などのワークショップのセクションを整理しています。[左下] は季節の農産物の材料リストを表示しており、[右下] はシェフのプロフィールと短い自己紹介が含まれています。 |
8. 砂嵐の視覚効果 |
sandstorm-visual-effect.safetensors |
width: 1408, height: 1600 |
[砂嵐の公益広告] この2枚組の画像は、砂嵐の視覚効果による自転車乗りの変化を展示しています。[上] の上のパネルは、鮮やかなギアを着た自転車乗りが、澄んだ空が背景にある開けた道を着実に漕いでいる様子を示しており、集中力と決意を強調しています。[下] の下のパネルでは、自転車乗りが激しい砂嵐に包まれるようにシーンが変化しており、砂の粒子が自転車と乗り手の周りで激しく旋回しています。嵐のような暗い背景の中で、混乱と力を強調しています。 |
9. スパークラーの視覚効果 |
sparklers-visual-effect.safetensors |
width: 960, height: 1088 |
[実際のスパークラーのオーバーレイ] この2枚組の画像は、スパークラーのオーバーレイによって変身した森の中でのプロポーズを鮮やかに描いています。[上] の最初のパネルは、夕暮れ時の森の空地で、男性が片膝をついて婚約指輪を持ってパートナーの前にいる様子を描いており、暖かい自然光が当たっています。[下] の2番目のパネルでは、輝くスパークラーがカップルの周りにハート型を形成しており、その瞬間のロマンスと喜びを増幅しています。 |
10. ビジュアルアイデンティティデザイン |
visual-identity-design.safetensors |
width: 1472, height: 1024 |
この2枚組の画像は、農産物ブランドの楽しいアイデンティティを展示しています。左のパネルは、明るい水色の背景に笑顔のパイナップルのグラフィックと、遊び心溢れるカジュアルなフォントで書かれたブランド名 “Fresh Tropic” を示しています。[左] 右のパネルでは、このデザインが黒いパイナップルのロゴがあるリユース可能な買い物袋に転用されており、市場の中で人が持っている様子を示しています。これにより、ブランドの親しみやすさと環境に配慮した雰囲気が強調されています。 |
📄 ライセンス
このモデルハブは、FLUXをベースモデルとして使用しています。ユーザーはこのコードを使用する際に、FLUXのライセンスに準拠する必要があります。詳細については、FLUXのライセンスを参照してください。
引用
このモデルハブがあなたの研究に役立った場合は、以下を引用してください。
@article{lhhuang2024iclora,
title={In-Context LoRA for Diffusion Transformers},
author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
journal={arXiv preprint arxiv:2410.23775},
year={2024}
}
モデルのダウンロード
これらのモデルの重みは、Safetensors形式で利用可能です。
ダウンロードは、「Files & versions」タブで行えます。