Controlnet Mlsd 202305011046

🚀 controlnet - tsungtao/controlnet-mlsd-202305011046

本项目是基于 runwayml/stable-diffusion-v1-5 训练的 ControlNet 权重，采用了新型的条件控制方式。下面为你展示一些示例图片。

🚀 快速开始

示例图片

• 提示词：a living room with a dining table and chairs
• 提示词：a living room with couches and a tv

训练数据集

训练数据集可在 此处 查看。

SD 模型基础

本项目基于 runwayml/stable-diffusion-v1-5 模型。

🔧 技术细节

训练数据处理

训练数据包含两列，分别是原始训练数据、条件训练数据及其提示词。

• 原始训练数据：为了特定的训练目的，从互联网上爬取了客厅相关的图片。使用本地工具对这些图片进行了尺寸调整，这是训练前的标准化处理过程。
• 条件数据：基于原始训练数据生成。为了创建目标条件数据，我们在本地开发环境中部署了 Stable Diffusion 和 ControlNet 插件。之后，同样对条件数据进行了标准化的尺寸调整。
• 提示词：由于测试数据集较小，提示词是手动添加的。当然，也可以使用一些网络工具来完成这一操作。

数据上传

我们编写了一个上传脚本，将所有的原始数据、条件数据和提示词组合成一个数据集，并自动上传到 Hugging Face。

模型功能

从条件数据中，我们可以看到原始数据的框架结构。基于此进行训练，模型能够提取输入图像的线条框架。同时，原始数据都具有特定的风格。因此，使用这个模型，你可以提取输入客厅图像的线条框架，并将输入的客厅图像转换为特定风格的客厅图像。从功能上看，该模型类似于 “MLSD” 模型，但在处理特定风格的客厅数据时表现更优。

📄 许可证

本项目采用 creativeml-openrail-m 许可证。