Flux Dev Openpose Controlnet

🚀 openpose controlnet for flux.dev

這是一個用於flux.dev的openpose controlnet，基於Transformer架構，可用於圖像生成。它在特定數據集上進行訓練，能與xlabs ai pipeline集成，實現高質量的圖像生成。

🚀 快速開始

本項目是用於flux.dev的openpose controlnet，在https://huggingface.co/datasets/raulc0399/open_pose_controlnet 數據集上進行訓練。控制網絡模型是為xlabs ai pipeline（https://github.com/XLabs-AI/x-flux ）訓練的。

📦 安裝指南

要安裝該pipeline，請執行以下命令：

git clone https://github.com/XLabs-AI/x-flux.git
cd x-flux
python3 -m venv xflux_env
source xflux_env/bin/activate
pip install -r requirements.txt

💻 使用示例

基礎用法

要使用controlnet運行pipeline，請執行以下命令：

python3 main.py \
 --prompt "person enjoying a day at the park, full hd, cinematic" \
 --image ~/open_pose_controlnet_dataset/validation_images/pose/3_pose_1024.jpg --control_type openpose \
 --local_path ./model.safetensors \
 --use_controlnet --model_type flux-dev \
 --width 1024 --height 1024  --timestep_to_start_cfg 2 \
 --num_steps 50 --true_gs 4 --guidance 4 \
 --save_path ~/gen_imgs

高級用法

如果圖像已經過預處理，請註釋掉src/flux/xflux_pipeline.py文件中的第146行：

# self.annotator = Annotator(control_type, self.other_device)

📚 詳細文檔

訓練步驟

oxen clone https://hub.oxen.ai/raulc/open_pose_controlnet_dataset
git clone https://github.com/raulc0399/x-flux.git
cd x-flux
git checkout open_pose_training
python3 -m venv xflux_env
source xflux_env/bin/activate
pip install -r requirements.txt
huggingface-cli login
accelerate config
mkdir images
rsync -r ~/open_pose_controlnet_dataset/train/images/ images/
cp train_configs/test_openpose_controlnet.yaml train_configs/openpose_controlnet.yaml
accelerate launch train_flux_deepspeed_controlnet.py --config "train_configs/openpose_controlnet.yaml"

⚠️ 重要提示

1. 在開始訓練前，請檢查train_configs/openpose_controlnet.yaml文件。
2. 需要使用rsync命令，cp命令在處理大量文件時可能無法正常工作。
3. oxen倉庫中的字幕文件為json格式，這是訓練腳本所期望的格式。

訓練結果

使用以下兩張控制圖像：

搭配以下提示詞：

• "two friends sitting by each other enjoying a day at the park, full hd, cinematic"
• "person enjoying a day at the park, full hd, cinematic"

生成了以下結果圖像：

📄 許可證

模型權重遵循 FLUX.1 [dev] 非商業許可證。