Multiview Incontext

🚀 快速開始

推理示例

import torch
from diffusers import FluxPipeline

pipeline = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    torch_dtype=torch.bfloat16,
)
pipeline.load_lora_weights(
    "ysmao/multiview-incontext",
    weight_name="twoview-incontext-b03.safetensors",
)
pipeline.fuse_lora()

scene_prompt = "a living room with a sofa set with cushions, side tables with table lamps, a flat screen television on a table, houseplants, wall hangings, electric lights, and a carpet on the floor"
prompt = f"[TWO-VIEWS] This set of two images presents a scene from two different viewpoints. [IMAGE1] The first image shows {scene_prompt}. [IMAGE2] The second image shows the same room but in another viewpoint."
image_height = 576
image_width = 864
output = pipeline(
    prompt=prompt,
    height=int(image_height),
    width=int(image_width * 2),
    num_inference_steps=30,
    guidance_scale=3.5,
).images[0]

output.save("twoview-incontext-beta.png")

✨ 主要特性

• 能夠同時生成同一場景或對象的多視角圖像。
• 通過與通量結合，可分割圖像以獲得新穎視角。

📚 詳細文檔

模型描述

本模型受 In-Context-LoRA 啟發，目標是同時生成同一場景或對象的多視角圖像。使用通量與多視角上下文LoRA，可將圖像分割成部分來獲取新視角。

⚠️ 重要提示

這是該模型的beta版本。視角之間的一致性可能並不完美，模型有時可能生成的視角無法完美對齊，或者在不同視角下無法精確保持對象位置。開發者正在努力改進生成視角之間的幾何一致性和空間關係。

新聞

• 2024-11-25：發佈beta v0.3模型檢查點，與之前版本相比，視角之間的一致性有了很大提升。

路線圖

• [x] 🔄 提高雙視角圖像之間的一致性。
  • [ ] 在提示中添加相機控制，以管理兩個視角之間的相似度。
• [ ] 4️⃣ 以網格格式生成場景的4個視角。
• [ ] 🧸 以網格格式生成單個對象的4個規範座標視角。
• [ ] 🏛️ 從多視角圖像進行3D重建。

在將LoRA應用於FluxInpaint Pipeline時，發現生成視角與輸入視角之間的一致性顯著下降。因此，計劃為FluxFill模型而不是原始的Flux文本到圖像模型訓練LoRA，以提高性能。

下載模型

該模型的權重以Safetensors格式提供。

點擊下載（在“文件與版本”選項卡中）。