Flux Sketch Smudge LoRA

🚀 Flux-Sketch-Smudge-LoRA模型

Flux-Sketch-Smudge-LoRA是一個基於LoRA技術的文本到圖像模型，可根據輸入的文本描述生成各種風格的人物素描圖像。它在特定的訓練數據上進行了優化，能生成高質量且符合描述的圖像。

🚀 快速開始

環境搭建

import torch
from pipelines import DiffusionPipeline

base_model = "black-forest-labs/FLUX.1-dev"
pipe = DiffusionPipeline.from_pretrained(base_model, torch_dtype=torch.bfloat16)

lora_repo = "strangerzonehf/Flux-Sketch-Smudge-LoRA"
trigger_word = "Sketch Smudge"  
pipe.load_lora_weights(lora_repo)

device = torch.device("cuda")
pipe.to(device)

觸發詞使用

你應該使用 Sketch Smudge 來觸發圖像生成。

模型下載

該模型的權重以Safetensors格式提供。 點擊下載，可在文件與版本選項卡中找到。

✨ 主要特性

• 多樣化風格：能夠生成不同風格的人物素描，包括寫實、抽象、卡通等。
• 精準生成：基於輸入的文本描述，精確生成符合要求的圖像。
• 高效推理：在推薦的推理步驟內，能快速生成高質量圖像。

📦 安裝指南

安裝所需依賴：

import torch
from pipelines import DiffusionPipeline

加載基礎模型和LoRA權重：

base_model = "black-forest-labs/FLUX.1-dev"
pipe = DiffusionPipeline.from_pretrained(base_model, torch_dtype=torch.bfloat16)

lora_repo = "strangerzonehf/Flux-Sketch-Smudge-LoRA"
trigger_word = "Sketch Smudge"  
pipe.load_lora_weights(lora_repo)

將模型移動到指定設備：

device = torch.device("cuda")
pipe.to(device)

💻 使用示例

基礎用法

# 假設已經完成了上述的安裝和加載步驟
prompt = "Sketch Smudge, A gray and white drawing of a womans head is depicted on a white canvas background."
image = pipe(prompt).images[0]
image.save("output.png")

高級用法

# 可以調整推理步驟和其他參數來優化生成效果
prompt = "Sketch Smudge, A detailed sketch of a womans face is drawn on a cream-colored canvas."
inference_steps = 35
image = pipe(prompt, num_inference_steps=inference_steps).images[0]
image.save("output_advanced.png")

📚 詳細文檔

圖像處理參數

最佳尺寸與推理

推理範圍

• 推薦推理步數：30–35

🔧 技術細節

該模型基於 black-forest-labs/FLUX.1-dev 基礎模型，使用LoRA技術進行微調。訓練數據採用了26張14位原始圖像，並使用 florence2-en 進行自然語言和英文標註。在訓練過程中，使用了特定的圖像處理參數進行優化，以提高模型的性能和生成圖像的質量。

📄 許可證

本模型遵循 creativeml-openrail-m 許可證。