Segmoe SD 4x2 V0

🚀 SegMoE-SD-4x2-v0: Segmind Mixture of Diffusion Experts

SegMoE-SD-4x2-v0は、4つのExpert SD1.5モデルからsegmoeを使用して生成された、未学習のSegmind Mixture of Diffusion Expertsモデルです。SegMoEは、Stable Diffusionモデルを数分で学習することなく、Mixture of Expertsに動的に結合する強力なフレームワークです。このフレームワークにより、より大きな知識、より良い忠実度、およびより良い画像品質を提供する大規模なモデルを即座に作成することができます。

🚀 クイックスタート

📦 インストール

このモデルは、segmoeライブラリを介して使用することができます。segmoeをインストールするには、以下のコマンドを実行してください。

pip install segmoe

💻 使用例

基本的な使用法

from segmoe import SegMoEPipeline

pipeline = SegMoEPipeline("segmind/SegMoE-SD-4x2-v0", device = "cuda")

prompt = "cosmic canvas, orange city background, painting of a chubby cat"
negative_prompt = "nsfw, bad quality, worse quality"
img = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=1024,
    width=1024,
    num_inference_steps=25,
    guidance_scale=7.5,
).images[0]
img.save("image.png")

📚 ドキュメント

設定

このモデルを作成するために使用された設定は以下の通りです。

base_model: SG161222/Realistic_Vision_V6.0_B1_noVAE
num_experts: 4
moe_layers: all
num_experts_per_tok: 2
experts:
  - source_model: SG161222/Realistic_Vision_V6.0_B1_noVAE
    positive_prompt: "cinematic, portrait, photograph, instagram, fashion, movie, macro shot, 8K, RAW, hyperrealistic, ultra realistic,"
    negative_prompt: " (deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime), text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck"
  - source_model: dreamlike-art/dreamlike-anime-1.0
    positive_prompt: "photo anime, masterpiece, high quality, absurdres, 1girl, 1boy, waifu, chibi"
    negative_prompt: "simple background, duplicate, retro style, low quality, lowest quality, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013, bad anatomy, bad proportions, extra digits, lowres, username, artist name, error, duplicate, watermark, signature, text, extra digit, fewer digits, worst quality, jpeg artifacts, blurry"
  - source_model: Lykon/dreamshaper-8
    positive_prompt: "bokeh, intricate, elegant, sharp focus, soft lighting, vibrant colors, dreamlike, fantasy, artstation, concept art"
    negative_prompt: "low quality, lowres, jpeg artifacts, signature, bad anatomy, extra legs, extra arms, extra fingers, poorly drawn hands, poorly drawn feet, disfigured, out of frame, tiling, bad art, deformed, mutated, blurry, fuzzy, misshaped, mutant, gross, disgusting, ugly, watermark, watermarks"
  - source_model: dreamlike-art/dreamlike-diffusion-1.0
    positive_prompt: "dreamlikeart, a grungy woman with rainbow hair, travelling between dimensions, dynamic pose, happy, soft eyes and narrow chin, extreme bokeh, dainty figure, long hair straight down, torn kawaii shirt and baggy jeans, In style of by Jordan Grimmer and greg rutkowski, crisp lines and color, complex background, particles, lines, wind, concept art, sharp focus, vivid colors"
    negative_prompt: "nude, naked, low quality, lowres, jpeg artifacts, signature, bad anatomy, extra legs, extra arms, extra fingers, poorly drawn hands, poorly drawn feet, disfigured, out of frame"

他のバリアント

Hugging Face上で3つのマージモデルを公開しています。

• SegMoE 4x2 は、4つのStable Diffusion XLエキスパートモデルを持っています。
• SegMoE 2x1 は、2つのStable Diffusion XLエキスパートモデルを持っています。

モデルの説明

想定外の使用

SegMoE-SD-4x2-v0モデルは、人、イベント、または現実世界の情報の事実的または正確な表現を作成するのに適していません。高精度と正確性を必要とするタスクには意図されていません。

✨ 主な機能

• 複数の微調整されたエキスパートの知識を活用
• 学習不要
• データへの適応性が高い
• より良い微調整モデルをエキスパートの1つとして使用することで、モデルをアップグレードできる

🔧 技術詳細

メリット

• 複数の微調整されたエキスパートの知識を活用することができます。
• 学習が不要です。
• データへの適応性が良いです。
• より良い微調整モデルをエキスパートの1つとして使用することで、モデルをアップグレードすることができます。

制限事項

• このモデルは画像の忠実度と遵守度を向上させますが、学習なしではいずれかのエキスパートよりも劇的に良くなるわけではなく、エキスパートの知識に依存しています。
• 速度に関してはまだ最適化されていません。
• メモリ使用量に関してはまだ最適化されていません。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

引用

@misc{segmoe,
  author = {Yatharth Gupta, Vishnu V Jaddipal, Harish Prabhala},
  title = {SegMoE},
  year = {2024},
  publisher = {HuggingFace},
  journal = {HuggingFace Models},
  howpublished = {\url{https://huggingface.co/segmind/SegMoE-SD-4x2-v0}}
}