🚀 Bofuri風格文本到圖像生成模型
本模型專注於文本到圖像的轉換,基於《防振り: 痛いのは嫌なので防禦力に極振りしたいと思います。》中的33個不同概念進行訓練,能夠生成精美的動漫風格圖像,為動漫藝術創作提供了強大的支持。
🚀 快速開始
本模型以diffuser和safetensors格式共享,中間檢查點也以ckpt格式共享在checkpoints
目錄中。
✨ 主要特性
- 文本到圖像轉換:能夠根據輸入的文本描述生成對應的圖像。
- 動漫風格:生成的圖像具有鮮明的動漫風格。
- 多概念支持:可以處理多個概念的組合輸入。
💻 使用示例
基礎用法
以下是一些使用示例,展示瞭如何通過不同的提示詞生成圖像:
示例1
提示詞:BoMaple uniform BoSally unfirom, yuri, in classroom, 4K wallpaper, beautiful eyes

示例2
提示詞:2girls, BoMay BoYui, yuri, half body, floating in the sky, cloud, sparkling eyes, 4K wallpaer, anime coloring, official art

示例3
提示詞:BoKanade casting magic, 4K wallpaper, outdoors

負向提示詞:bad hands, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
高級用法
多概念組合
提示詞:(BoMaple black armor) BoSally turtleneck BoKasumi, 3girls, 4K wallpaper, ahoge, black hair, brown hair, outdoors, long hair

更多生成示例
- 提示詞:
BoMaple black armors aniscreen, 1girl solo, Hydra in the sky, light purple eyes, 4K wallpaper

- 提示詞:
BoMaple black armors near small turtle syrup, sitting with knees up on rock looking at viewer, turtle shell, beautiful hand in glove, in front of trees , outdoors, close-up, 4K wallpaper

- 提示詞:
BoMaple pajama stripe, sitting on bed with barefoot, in girl's room, detailed and fancy background, sparkling purple eyes, hand on bed, 4K wallpaper

- 提示詞:
BoFrederica, cowboy shot, in rubble ruins, ((under blue sky)), cinematic angle, dynamic pose, oblique angle, 4K wallpaer, anime coloring, official art

- 提示詞:
Turtle Syrup Fox Oboro next to each other simple background white background, animals

失敗示例

模型融合示例

📚 詳細文檔
概念說明
33個概念列在concept_list
中,以下是部分概念的展示:
- BoMaple +

- BoSally +

注意事項:
BoMaple sheep form
和非人類概念可能會產生較差的結果。特別是模型對糖漿的解剖結構和大小理解不清晰。
- 對於
BoKasumi sarashi
,添加bandages
可能會有幫助。
- 對於
BoMaple pajama
,添加stripe
可以使其更接近動漫中出現的睡衣。
提示詞格式
- 訓練時,概念名稱放在圖像開頭,僅用空格分隔,但不這樣做似乎也可行。
- 在概念名稱後添加
aniscreen
可以增強動漫風格。
- 一張圖像中包含兩個概念是比較容易實現的,但從三個概念開始,大部分情況下會出現奇怪的融合現象,這部分是因為該模型在多概念場景上訓練不足。
🔧 技術細節
數據集描述
數據集通過以下工作流程準備:https://github.com/cyber-meow/anime_screenshot_pipeline 。
它包含27031張圖像,具體組成如下:
屬性 |
詳情 |
模型類型 |
文本到圖像生成模型 |
訓練數據 |
- 7752張《防振り》相關圖像,主要來自第一季和第二季前三集的截圖 - 19279張正則化圖像,儘可能多樣化且為動漫風格(即不使用逼真的照片圖像) |
注意,模型訓練採用了特定的加權方案來平衡不同概念,因此每張圖像的權重並不相同。應用每圖像重複後,每個epoch大約有200K張圖像。
訓練信息
訓練使用EveryDream2訓練器,以ACertainty為基礎模型。配置如下:
- 分辨率:512
- 餘弦學習率調度器,學習率:2.5e - 6
- 批量大小:4
- 條件丟棄率:0.05
- 在模型調度器的
config.json
中將beta調度器從scaler_linear
改為linear
- 剪輯跳過:1
發佈的模型訓練了57751步,但在提供的檢查點中,從34172步開始的三個檢查點似乎效果都不錯。
📄 許可證
本模型採用CreativeML OpenRAIL - M許可證。