🚀 Bofuri风格文本到图像生成模型
本模型专注于文本到图像的转换,基于《防振り: 痛いのは嫌なので防御力に極振りしたいと思います。》中的33个不同概念进行训练,能够生成精美的动漫风格图像,为动漫艺术创作提供了强大的支持。
🚀 快速开始
本模型以diffuser和safetensors格式共享,中间检查点也以ckpt格式共享在checkpoints
目录中。
✨ 主要特性
- 文本到图像转换:能够根据输入的文本描述生成对应的图像。
- 动漫风格:生成的图像具有鲜明的动漫风格。
- 多概念支持:可以处理多个概念的组合输入。
💻 使用示例
基础用法
以下是一些使用示例,展示了如何通过不同的提示词生成图像:
示例1
提示词:BoMaple uniform BoSally unfirom, yuri, in classroom, 4K wallpaper, beautiful eyes

示例2
提示词:2girls, BoMay BoYui, yuri, half body, floating in the sky, cloud, sparkling eyes, 4K wallpaer, anime coloring, official art

示例3
提示词:BoKanade casting magic, 4K wallpaper, outdoors

负向提示词:bad hands, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
高级用法
多概念组合
提示词:(BoMaple black armor) BoSally turtleneck BoKasumi, 3girls, 4K wallpaper, ahoge, black hair, brown hair, outdoors, long hair

更多生成示例
- 提示词:
BoMaple black armors aniscreen, 1girl solo, Hydra in the sky, light purple eyes, 4K wallpaper

- 提示词:
BoMaple black armors near small turtle syrup, sitting with knees up on rock looking at viewer, turtle shell, beautiful hand in glove, in front of trees , outdoors, close-up, 4K wallpaper

- 提示词:
BoMaple pajama stripe, sitting on bed with barefoot, in girl's room, detailed and fancy background, sparkling purple eyes, hand on bed, 4K wallpaper

- 提示词:
BoFrederica, cowboy shot, in rubble ruins, ((under blue sky)), cinematic angle, dynamic pose, oblique angle, 4K wallpaer, anime coloring, official art

- 提示词:
Turtle Syrup Fox Oboro next to each other simple background white background, animals

失败示例

模型融合示例

📚 详细文档
概念说明
33个概念列在concept_list
中,以下是部分概念的展示:
- BoMaple +

- BoSally +

注意事项:
BoMaple sheep form
和非人类概念可能会产生较差的结果。特别是模型对糖浆的解剖结构和大小理解不清晰。
- 对于
BoKasumi sarashi
,添加bandages
可能会有帮助。
- 对于
BoMaple pajama
,添加stripe
可以使其更接近动漫中出现的睡衣。
提示词格式
- 训练时,概念名称放在图像开头,仅用空格分隔,但不这样做似乎也可行。
- 在概念名称后添加
aniscreen
可以增强动漫风格。
- 一张图像中包含两个概念是比较容易实现的,但从三个概念开始,大部分情况下会出现奇怪的融合现象,这部分是因为该模型在多概念场景上训练不足。
🔧 技术细节
数据集描述
数据集通过以下工作流程准备:https://github.com/cyber-meow/anime_screenshot_pipeline 。
它包含27031张图像,具体组成如下:
属性 |
详情 |
模型类型 |
文本到图像生成模型 |
训练数据 |
- 7752张《防振り》相关图像,主要来自第一季和第二季前三集的截图 - 19279张正则化图像,尽可能多样化且为动漫风格(即不使用逼真的照片图像) |
注意,模型训练采用了特定的加权方案来平衡不同概念,因此每张图像的权重并不相同。应用每图像重复后,每个epoch大约有200K张图像。
训练信息
训练使用EveryDream2训练器,以ACertainty为基础模型。配置如下:
- 分辨率:512
- 余弦学习率调度器,学习率:2.5e - 6
- 批量大小:4
- 条件丢弃率:0.05
- 在模型调度器的
config.json
中将beta调度器从scaler_linear
改为linear
- 剪辑跳过:1
发布的模型训练了57751步,但在提供的检查点中,从34172步开始的三个检查点似乎效果都不错。
📄 许可证
本模型采用CreativeML OpenRAIL - M许可证。