Reddy V3

🚀 reddy-v3

このプロジェクトは、black-forest-labs/FLUX.1-dev をベースとした標準的なPEFT LoRAです。主にテキストから画像を生成するタスクに使用され、さまざまな画像生成シーンに対応しています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

推論コード例

import torch
from diffusers import DiffusionPipeline

model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'Unmapped2895/reddy-v3'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # loading directly in bf16
pipeline.load_lora_weights(adapter_id)

prompt = "Realistic wide shot photo of woman posing in a luxurious satin lingerie set, featuring a plunging bra, delicate thong and a classic garter belt with black stockings. The satin lingerie shimmers softly in the light, and the cut emphasizes both sophistication and a hint of allure. The lingerie is detailed with fine lace edges, highlighting her alluring figure. She elegantly styled hair as if getting ready for a formal event. The photo has a cinematic quality with rays of light and dramatic play of shadow and light"


## Optional: quantise the model to save on vram.
## Note: The model was quantised during training, and so it is recommended to do the same during inference time.
from optimum.quanto import quantize, freeze, qint8
quantize(pipeline.transformer, weights=qint8)
freeze(pipeline.transformer)
    
pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # the pipeline is already in its target precision level
model_output = pipeline(
    prompt=prompt,
    num_inference_steps=20,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=832,
    height=1216,
    guidance_scale=3.5,
).images[0]

model_output.save("output.png", format="PNG")

✨ 主な機能

• テキストから画像生成（text-to-image）、画像から画像生成（image-to-image）などの機能をサポート。
• さまざまな画像生成シーンに対応し、多様な画像を生成できます。

📦 インストール

インストールに関する具体的なコマンドは元のREADMEに記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

import torch
from diffusers import DiffusionPipeline

model_id = 'black-forest-labs/FLUX.1-dev'
adapter_id = 'Unmapped2895/reddy-v3'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # loading directly in bf16
pipeline.load_lora_weights(adapter_id)

prompt = "Realistic wide shot photo of woman posing in a luxurious satin lingerie set, featuring a plunging bra, delicate thong and a classic garter belt with black stockings. The satin lingerie shimmers softly in the light, and the cut emphasizes both sophistication and a hint of allure. The lingerie is detailed with fine lace edges, highlighting her alluring figure. She elegantly styled hair as if getting ready for a formal event. The photo has a cinematic quality with rays of light and dramatic play of shadow and light"

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu')
model_output = pipeline(
    prompt=prompt,
    num_inference_steps=20,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=832,
    height=1216,
    guidance_scale=3.5,
).images[0]

model_output.save("output.png", format="PNG")

高度な使用法

# モデルの量子化を行い、VRAMを節約する例
from optimum.quanto import quantize, freeze, qint8
quantize(pipeline.transformer, weights=qint8)
freeze(pipeline.transformer)

pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu')
model_output = pipeline(
    prompt=prompt,
    num_inference_steps=20,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=832,
    height=1216,
    guidance_scale=3.5,
).images[0]

model_output.save("output.png", format="PNG")

📚 ドキュメント

検証設定

学習設定

データセット

reddy - v2 - 512

• 繰り返し数: 10
• 画像総数: 13
• アスペクトバケット総数: 1
• 解像度: 0.262144メガピクセル
• クロップ: False
• クロップスタイル: なし
• クロップアスペクト: なし
• 正則化データとしての使用: いいえ

reddy - v2 - 1024

• 繰り返し数: 10
• 画像総数: 5
• アスペクトバケット総数: 1
• 解像度: 1.048576メガピクセル
• クロップ: False
• クロップスタイル: なし
• クロップアスペクト: なし
• 正則化データとしての使用: いいえ

🔧 技術詳細

• このモデルは、ベースモデルである [black - forest - labs/FLUX.1 - dev](https://huggingface.co/black - forest - labs/FLUX.1 - dev) を元にPEFT LoRAを適用しています。
• 学習時には、特定の検証プロンプトを使用し、さまざまな設定を調整して最適化されています。
• 推論時には、量子化を行うことでVRAMを節約することができます。

📄 ライセンス

このプロジェクトは、他のライセンスに基づいています。詳細は元のリポジトリを参照してください。