Logo Lora

🚀 logo-lora

logo-lora 是一个基于 black-forest-labs/FLUX.1-dev 的标准 PEFT LoRA。它主要用于生成汽车赛车游戏应用的标志，通过特定的训练和验证设置，能够输出高质量的图像。

🚀 快速开始

以下是使用 logo-lora 进行推理的代码示例：

import torch
from diffusers import DiffusionPipeline

model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'brianling16/logo-lora'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # loading directly in bf16
pipeline.load_lora_weights(adapter_id)

prompt = "Generate a logo for a car racing game app"

## Optional: quantise the model to save on vram.
## Note: The model was quantised during training, and so it is recommended to do the same during inference time.
from optimum.quanto import quantize, freeze, qint8
quantize(pipeline.transformer, weights=qint8)
freeze(pipeline.transformer)

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # the pipeline is already in its target precision level
image = pipeline(
    prompt=prompt,
    num_inference_steps=20,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=512,
    height=512,
    guidance_scale=3.0,
).images[0]
image.save("output.png", format="PNG")

✨ 主要特性

• 基于 black-forest-labs/FLUX.1-dev 基础模型，具有良好的图像生成能力。
• 可用于生成汽车赛车游戏应用的标志。
• 文本编码器未经过训练，可复用基础模型的文本编码器进行推理。

📦 安装指南

文档未提及具体安装步骤，可参考基础模型 black-forest-labs/FLUX.1-dev 的安装说明。

💻 使用示例

基础用法

import torch
from diffusers import DiffusionPipeline

model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'brianling16/logo-lora'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) 
pipeline.load_lora_weights(adapter_id)

prompt = "Generate a logo for a car racing game app"

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') 
image = pipeline(
    prompt=prompt,
    num_inference_steps=20,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=512,
    height=512,
    guidance_scale=3.0,
).images[0]
image.save("output.png", format="PNG")

高级用法

import torch
from diffusers import DiffusionPipeline

model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'brianling16/logo-lora'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) 
pipeline.load_lora_weights(adapter_id)

prompt = "Generate a logo for a car racing game app"

## 可选：量化模型以节省显存
from optimum.quanto import quantize, freeze, qint8
quantize(pipeline.transformer, weights=qint8)
freeze(pipeline.transformer)

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') 
image = pipeline(
    prompt=prompt,
    num_inference_steps=20,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=512,
    height=512,
    guidance_scale=3.0,
).images[0]
image.save("output.png", format="PNG")

📚 详细文档

验证设置

注意：验证设置不一定与训练设置相同。

训练设置

数据集

app_data

🔧 技术细节

本项目基于 PEFT LoRA 技术，从 black-forest-labs/FLUX.1-dev 基础模型派生而来。在训练过程中，使用了特定的数据集 app_data，并设置了一系列训练参数，如学习率、批量大小等。验证设置和训练设置有所不同，以确保模型的泛化能力。推理时，通过加载基础模型和 LoRA 权重，结合输入的提示信息，使用扩散模型生成图像。

📄 许可证

本项目使用其他许可证，具体请参考相关说明。