🚀 rangerover-phase1-2e-4-constant-wcrops
這是一個基於 black-forest-labs/FLUX.1-dev 的標準PEFT LoRA模型。該模型可用於文本到圖像的轉換,能生成高質量的圖像。
🚀 快速開始
本項目是一個基於特定基礎模型的標準PEFT LoRA模型。在使用模型時,需要了解驗證設置和訓練設置的相關參數,同時可以參考推理部分的代碼示例進行圖像生成。
📦 安裝指南
文檔未提及具體安裝步驟,可參考基礎模型 black-forest-labs/FLUX.1-dev 的安裝說明。
💻 使用示例
基礎用法
import torch
from diffusers import DiffusionPipeline
model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'mipat12/rangerover-phase1-2e-4-constant-wcrops'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
pipeline.load_lora_weights(adapter_id)
prompt = "An astronaut is riding a horse through the jungles of Thailand."
from optimum.quanto import quantize, freeze, qint8
quantize(pipeline.transformer, weights=qint8)
freeze(pipeline.transformer)
pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu')
model_output = pipeline(
prompt=prompt,
num_inference_steps=20,
generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
width=1344,
height=768,
guidance_scale=3.0,
).images[0]
model_output.save("output.png", format="PNG")
高級用法
文檔未提及高級用法相關代碼,可根據基礎用法進行拓展,例如調整更多的參數以獲得不同風格的圖像。
📚 詳細文檔
驗證設置
- CFG:
3.0
- CFG Rescale:
0.0
- Steps:
20
- Sampler:
FlowMatchEulerDiscreteScheduler
- Seed:
42
- Resolution:
1344x768
- Skip-layer guidance:
注意:驗證設置不一定與訓練設置相同。
你可以在以下圖庫中找到一些示例圖像:
文本編碼器未進行訓練。你可以在推理時複用基礎模型的文本編碼器。
訓練設置
屬性 |
詳情 |
訓練輪數 |
2 |
訓練步數 |
10000 |
學習率 |
8e - 05 |
學習率調度 |
多項式 |
熱身步數 |
100 |
最大梯度值 |
0.1 |
有效批量大小 |
3 |
微批量大小 |
3 |
梯度累積步數 |
1 |
GPU數量 |
1 |
梯度檢查點 |
啟用 |
預測類型 |
流匹配(額外參數=['shift = 3.0', 'flux_guidance_mode = constant', 'flux_guidance_value = 1.0', 'flow_matching_loss = compatible', 'flux_lora_target = all']) |
優化器 |
adamw_bf16 |
可訓練參數精度 |
純BF16 |
基礎模型精度 |
int8 - quanto |
字幕丟棄概率 |
5.0% |
LoRA秩 |
64 |
LoRA Alpha |
無 |
LoRA丟棄率 |
0.1 |
LoRA初始化風格 |
默認 |
數據集
本模型使用了多個數據集進行訓練,以下是各數據集的相關信息:
數據集名稱 |
重複次數 |
圖像總數 |
縱橫比桶總數 |
分辨率 |
是否裁剪 |
裁剪風格 |
裁剪縱橫比 |
是否用於正則化數據 |
klimt - background - 512 |
22 |
79 |
4 |
0.262144兆像素 |
否 |
無 |
無 |
否 |
klimt - background - 768 |
22 |
79 |
3 |
0.589824兆像素 |
否 |
無 |
無 |
否 |
klimt - background - 1024 |
11 |
79 |
17 |
1.048576兆像素 |
否 |
無 |
無 |
否 |
klimt - background - 1536 |
5 |
69 |
19 |
2.359296兆像素 |
否 |
無 |
無 |
否 |
klimt - background - 512 - crop |
11 |
77 |
1 |
0.262144兆像素 |
是 |
隨機 |
方形 |
否 |
klimt - background - 768 - crop |
11 |
74 |
1 |
0.589824兆像素 |
是 |
隨機 |
方形 |
否 |
klimt - background - 512 - tight - crop |
11 |
77 |
1 |
0.262144兆像素 |
是 |
隨機 |
方形 |
否 |
klimt - background - 768 - tight - crop |
11 |
74 |
1 |
0.589824兆像素 |
是 |
隨機 |
方形 |
否 |
klimt - background - 1024 - crop |
5 |
70 |
1 |
1.048576兆像素 |
是 |
隨機 |
方形 |
否 |
📄 許可證
本項目使用其他許可證。具體許可證信息請參考相關鏈接。