Segmoe 2x1 V0

🚀 SegMoE-2x1-v0: Segmind混合擴散專家模型

SegMoE-2x1-v0是一個未經訓練的Segmind混合擴散專家模型，它使用segmoe從2個專家SDXL模型生成。SegMoE是一個強大的框架，可在幾分鐘內將多個Stable Diffusion模型動態組合成一個專家混合模型，無需進行訓練。該框架允許即時創建更大的模型，這些模型具有更廣泛的知識、更好的貼合度和更高的圖像質量。

🚀 快速開始

本模型可通過segmoe庫使用。

📦 安裝指南

請確保通過以下命令安裝segmoe：

pip install segmoe

💻 使用示例

基礎用法

from segmoe import SegMoEPipeline

pipeline = SegMoEPipeline("segmind/SegMoE-2x1-v0", device = "cuda")

prompt = "cosmic canvas, orange city background, painting of a chubby cat"
negative_prompt = "nsfw, bad quality, worse quality"
img = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=1024,
    width=1024,
    num_inference_steps=25,
    guidance_scale=7.5,
).images[0]
img.save("image.png")

📚 詳細文檔

配置信息

用於創建此模型的配置如下：

base_model: SG161222/RealVisXL_V3.0
num_experts: 2
moe_layers: all
num_experts_per_tok: 1
experts:
  - source_model: frankjoshua/juggernautXL_v8Rundiffusion
    positive_prompt: "aesthetic, cinematic, hands, portrait, photo, illustration, 8K, hyperdetailed, origami, man, woman, supercar"
    negative_prompt: "(worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art:1.4), (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name:1.2), (blur, blurry, grainy), morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur:1.3), (3D ,3D Game, 3D Game Scene, 3D Character:1.1), (bad hands, bad anatomy, bad body, bad face, bad teeth, bad arms, bad legs, deformities:1.3)"
  - source_model: SG161222/RealVisXL_V3.0
    positive_prompt: "cinematic, portrait, photograph, instagram, fashion, movie, macro shot, 8K, RAW, hyperrealistic, ultra realistic,"
    negative_prompt: "(octane render, render, drawing, anime, bad photo, bad photography:1.3), (worst quality, low quality, blurry:1.2), (bad teeth, deformed teeth, deformed lips), (bad anatomy, bad proportions:1.1), (deformed iris, deformed pupils), (deformed eyes, bad eyes), (deformed face, ugly face, bad face), (deformed hands, bad hands, fused fingers), morbid, mutilated, mutation, disfigured"

其他變體

我們在Hugging Face上發佈了3個合併模型：

• SegMoE 4x2 包含四個專家模型。
• SegMoE SD 4x2 包含四個Stable Diffusion 1.5專家模型。

模型對比

從下面的圖像可以看出，該模型的提示理解能力有所提高。從左到右依次為SegMoE-2x1-v0、SegMoE-4x2-v0、基礎模型(RealVisXL_V3.0)。

模型描述

適用範圍說明

SegMoE-2x1-v0模型不適用於創建人物、事件或現實世界信息的事實性或準確性表示，也不用於需要高精度和準確性的任務。

🔧 技術細節

優點

• 受益於多個微調專家的知識。
• 無需訓練。
• 對數據有更好的適應性。
• 可以通過使用更好的微調模型作為專家之一來升級模型。

侷限性

• 雖然該模型在圖像保真度和貼合度上有所改進，但在未經訓練的情況下，它不會比任何單個專家模型有顯著提升，並且依賴於專家的知識。
• 該模型尚未針對速度進行優化。
• 該框架尚未針對內存使用進行優化。

📄 許可證

本模型使用Apache 2.0許可證。

引用信息

@misc{segmoe,
  author = {Yatharth Gupta, Vishnu V Jaddipal, Harish Prabhala},
  title = {SegMoE},
  year = {2024},
  publisher = {HuggingFace},
  journal = {HuggingFace Models},
  howpublished = {\url{https://huggingface.co/segmind/SegMoE-2x1-v0}}
}