Auraflow DomoKun LoRA Rank8

🚀 Auraflow-DomoKun-LoRA-rank8

このモデルは、fal/AuraFlow をベースにした標準的なPEFT LoRAです。 訓練中に使用された主な検証用プロンプトは以下の通りです。

An domokun running through a field with flowers all around him.

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

import torch
from diffusers import DiffusionPipeline

model_id = 'fal/AuraFlow'
adapter_id = 'bghira/Auraflow-DomoKun-LoRA-rank8'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # loading directly in bf16
pipeline.load_lora_weights(adapter_id)

prompt = "An domokun running through a field with flowers all around him."
negative_prompt = 'ugly, cropped, blurry, low-quality, mediocre average'

## Optional: quantise the model to save on vram.
## Note: The model was not quantised during training, so it is not necessary to quantise it during inference time.
#from optimum.quanto import quantize, freeze, qint8
#quantize(pipeline.transformer, weights=qint8)
#freeze(pipeline.transformer)
    
pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # the pipeline is already in its target precision level
model_output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=30,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=512,
    height=512,
    guidance_scale=4.0,
).images[0]

model_output.save("output.png", format="PNG")

✨ 主な機能

• テキストから画像への生成が可能です。
• 画像から画像への変換もサポートしています。

🔧 技術詳細

検証設定

• CFG: 4.0
• CFG Rescale: 0.0
• Steps: 30
• Sampler: FlowMatchEulerDiscreteScheduler
• Seed: 42
• Resolution: 512x512

注意: 検証設定は、訓練設定 と必ずしも同じではありません。

訓練設定

• 訓練エポック数: 0

• 訓練ステップ数: 100

• 学習率: 0.0001

  • 学習率スケジュール: 一定
  • ウォームアップステップ数: 100

• 最大勾配値: 0.01

• 有効バッチサイズ: 3

  • マイクロバッチサイズ: 1
  • 勾配累積ステップ数: 1
  • GPU数: 3

• 勾配チェックポイント: True

• 予測タイプ: flow_matching (追加パラメータ=['shift=3'])

• オプティマイザ: adamw_bf16

• 学習可能パラメータの精度: Pure BF16

• ベースモデルの精度: no_change

• キャプションドロップアウト確率: 10.0%

• LoRA Rank: 8

• LoRA Alpha: 8.0

• LoRA Dropout: 0.1

• LoRA初期化スタイル: デフォルト

データセット

domokun-cropped-512-NonReg

• 繰り返し数: 10
• 画像の総数: ~36
• アスペクトバケットの総数: 7
• 解像度: 0.262144メガピクセル
• クロップ: False
• クロップスタイル: なし
• クロップアスペクト: なし
• 正則化データとして使用: いいえ

domokun-cropped-512

• 繰り返し数: 10
• 画像の総数: ~36
• アスペクトバケットの総数: 2
• 解像度: 0.262144メガピクセル
• クロップ: False
• クロップスタイル: なし
• クロップアスペクト: なし
• 正則化データとして使用: はい

推論

テキストエンコーダは訓練されていません。推論にはベースモデルのテキストエンコーダを再利用することができます。

サンプル画像

以下のギャラリーでいくつかのサンプル画像を見ることができます。