🚀 上下文 LoRA 模型
上下文 LoRA(In-Context LoRA)可對文本到圖像模型(例如 FLUX)進行微調,以生成具有可定製內在關係的圖像集,還可選擇使用 SDEdit 以另一組圖像為條件進行生成。它適用於廣泛的任務。
📢 [項目頁面] [GitHub 倉庫] [論文]
🚀 快速開始
本模型中心包含了涵蓋 10 個任務的上下文 LoRA 模型。模型庫 詳細介紹了這些模型及其推薦設置。有關這些模型的訓練詳情,請參考我們的 論文。
✨ 主要特性
- 對文本到圖像模型進行微調,生成具有可定製內在關係的圖像集。
- 可選擇使用 SDEdit 以另一組圖像為條件進行圖像生成。
- 適用於多種不同的任務。
📚 詳細文檔
MODEL ZOO
以下列出了 10 個上下文 LoRA 模型及其推薦設置。
任務 |
模型 |
推薦設置 |
示例提示詞 |
1. 情侶頭像設計 |
couple-profile.safetensors |
width: 2048, height: 1024 |
這張兩部分的圖像描繪了一對穿著偵探服裝的卡通貓情侶;[左] 一隻穿著風衣、戴著軟呢帽的黑貓拿著放大鏡向右看,而 [右] 一隻繫著領結、戴著相配帽子的白貓好奇地揚起眉毛,在昏暗的背景下營造出一個有趣的、帶有黑色電影風格的場景。 |
2. 電影分鏡 |
film-storyboard.safetensors |
width: 1024, height: 1536 |
[電影鏡頭] 在一個熱鬧的節日裡,[場景 1] 我們看到 <Leo>,一個害羞的男孩,站在熱鬧的嘉年華邊緣,對五顏六色的遊樂設施和歡聲笑語驚歎不已;[場景 2] 畫面過渡到他不情願地嘗試一個大膽的遊戲,他的朋友們為他加油;[場景 3] 最終他贏得了一隻巨大的毛絨熊,達到了勝利的時刻,他自豪地舉起它讓所有人看到。 |
3. 字體設計 |
font-design.safetensors |
width: 1792, height: 1216 |
這張四格圖像展示了一種充滿趣味的泡泡字體,採用了充滿活力的波普藝術風格。[左上] 以亮粉色在圓點背景上顯示 “Pop Candy”;[右上] 以紫色顯示 “Sweet Treat”,周圍有糖果插圖;[左下] 以多種鮮豔顏色顯示 “Yum!”;[右下] 在條紋背景上顯示 “Delicious”,非常適合有趣的、適合兒童的產品。 |
4. 家居裝飾 |
home-decoration.safetensors |
width: 1344, height: 1728 |
這張四格圖像展示了一個帶有溫暖木色調和舒適裝飾元素的鄉村風格客廳;[左上] 有一個巨大的石壁爐,木質架子上擺滿了書籍和蠟燭;[右上] 展示了一個披著格子毛毯的復古皮革沙發,搭配著各種紋理的靠墊;[左下] 顯示了一個角落,有一把木製扶手椅,旁邊的邊桌上放著一杯熱氣騰騰的咖啡和一本經典書籍;[右下] 捕捉到了一個舒適的閱讀角落,有一個靠窗的座位、一條柔軟的毛皮披肩和整齊堆放的裝飾原木。 |
5. 肖像插畫 |
portrait-illustration.safetensors |
width: 1152, height: 1088 |
這張兩格圖像展示了從寫實肖像到有趣插畫的轉變,既捕捉到了細節又展現了藝術風格;[左] 照片中一名女子站在熱鬧的市場中,戴著寬邊帽子,穿著飄逸的波西米亞風格連衣裙,揹著皮革斜挎包;[右] 插畫部分誇張地描繪了她的配飾和特徵,波西米亞風格的連衣裙以鮮豔的圖案和大膽的顏色呈現,而背景簡化為抽象的市場攤位,給場景帶來了生動活潑的感覺。 |
6. 肖像攝影 |
portrait-photography.safetensors |
width: 1344, height: 1728 |
這張 [四格] 圖像展示了一位年輕藝術家在明亮而富有靈感的工作室裡的創作過程;[左上] 她站在一塊大畫布前,手持畫筆,為一幅未完成的畫作添加鮮豔的顏色;[右上] 她坐在一張雜亂的木桌旁,在筆記本上素描創意,周圍散落著各種藝術用品;[左下] 她停下來退後一步觀察自己的作品,若有所思地調整眼鏡;[右下] 她通過直接在調色板上混合顏料來嘗試不同的紋理,她專注的表情展示了她對自己技藝的執著。 |
7. PPT 模板 |
ppt-templates.safetensors |
width: 1984, height: 1152 |
這張四格圖像展示了一個用於烹飪工作坊的鄉村主題 PowerPoint 模板;[左上] 以溫暖的大地色調介紹 “從農場到餐桌的烹飪”;[右上] 組織工作坊的各個部分,如 “食材”、“準備” 和 “上菜”;[左下] 顯示季節性農產品的食材清單;[右下] 包括廚師簡介和簡短的生平介紹。 |
8. 沙塵暴視覺效果 |
sandstorm-visual-effect.safetensors |
width: 1408, height: 1600 |
[沙塵暴公益廣告] 這張兩部分的圖像展示了一名自行車手通過沙塵暴視覺效果的轉變;[上] 上半部分展示了一名穿著鮮豔裝備的自行車手在晴朗開闊的道路上穩步騎行,背景是寧靜的天空,突出了專注和決心;[下] 下半部分場景轉變,自行車手被一場猛烈的沙塵暴籠罩,沙塵顆粒在自行車和騎手周圍激烈地旋轉,背景是暴風雨般的黑暗天空,強調了混亂和力量。 |
9. 煙花視覺效果 |
sparklers-visual-effect.safetensors |
width: 960, height: 1088 |
[真實煙花疊加效果] 這張兩部分的圖像生動地展示了一個森林求婚場景被煙花疊加效果改變的樣子;[上] 第一部分描繪了黃昏時分,一名男子在森林空地上單膝跪地,向他的伴侶獻上訂婚戒指,有溫暖的自然光線;[下] 第二部分引入了發光的煙花,在這對情侶周圍形成一個心形,放大了這一刻的浪漫和喜悅。 |
10. 視覺形象設計 |
visual-identity-design.safetensors |
width: 1472, height: 1024 |
這張兩格圖像展示了一個農產品品牌的歡樂形象,左格顯示了一個微笑的菠蘿圖形和品牌名稱 “Fresh Tropic”,採用有趣、休閒的字體,背景是淺藍色;[左] 右格將設計應用到一個可重複使用的購物袋上,菠蘿標誌為黑色,由一名在市場環境中的人拿著,強調了品牌友好和環保的氛圍。 |
📄 許可證
本模型中心使用 FLUX 作為基礎模型。用戶在使用此代碼時必須遵守 FLUX 的許可證。有關更多詳細信息,請參考 FLUX 的許可證。
引用
如果您發現本模型中心在您的研究中很有用,請考慮引用:
@article{lhhuang2024iclora,
title={In-Context LoRA for Diffusion Transformers},
author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
journal={arXiv preprint arxiv:2410.23775},
year={2024}
}
下載模型
這些模型的權重以 Safetensors 格式提供。
在 文件與版本 標籤中下載它們。