NoobAI - XL - Mergesオープンソースモデル - 画像テストに無料で使用できるテキスト生成画像ツール

ホーム

Noobai XL Merges

Doctor-Shotgunによって開発

Illustrious-xlテキスト生成画像モデルを基に構築された多様な混合モデル、テスト目的で使用

画像生成複数言語対応オープンソースライセンス:その他 #垂直混合拡散 #芸術スタイル融合 #マルチモデル統合

ダウンロード数 196

リリース時間 : 12/9/2024

モデル概要

これは安定拡散XLアーキテクチャを基にしたテキスト生成画像の混合モデルで、垂直混合技術により複数モデルの利点を組み合わせ、芸術創作や画像生成に適しています

モデル特徴

垂直混合技術

sd-mechaのPython APIを使用した垂直混合により、複数モデルの利点を結合

マルチモデル融合

Illustrious-xl、IterComp、CyberRealistic XLなど複数モデルの特性を融合

セーフテンソル形式

モデルは.safetensors形式で提供され、安全性を確保

モデル能力

テキスト生成画像

芸術創作

画像スタイル変換

使用事例

芸術創作

コンセプトアート生成

テキスト記述に基づきコンセプトアート作品を生成

多様なスタイルの芸術作品を生成可能

画像スタイル変換

入力画像を特定の芸術スタイルに変換

異なる芸術スタイルのバリエーションを生成可能

クリエイティブデザイン

広告クリエイティブ生成

広告キャンペーンのためのクリエイティブなビジュアルコンテンツを迅速に生成

多様なデザインオプションを迅速に生成可能

🚀 NoobAI-XL-Merges

Laxhar LabのIllustrious-xlベースのテキストから画像へのモデルを基に構築された様々なマージモデルです。テスト目的でアップロードされています。

これらのモデルは現状のまま提供されており、結果はユーザーによって異なる場合があります。ユーザーはこれらのチェックポイントを使用して生成されたすべての出力に責任を負います。

これらのマージに関与する他のモデルには以下のものがあります。

🚀 クイックスタート

このREADMEでは、NoobAI-XL-Mergesのモデルに関する情報と、マージの方法について説明します。

✨ 主な機能

Laxhar LabのIllustrious-xlベースのテキストから画像へのモデルをベースにした様々なマージモデルを提供。
テスト目的でアップロードされているため、新しい画像生成の可能性を探索できる。

📚 ドキュメント

🔧 技術詳細

方法

垂直マージは、Python APIを使用したsd-mechaを介して行われます。例えば以下のように行います。

1) Merge noobaiXLNAIXL_vPred10Version-cyberrealistic4-perpendicular

import sd_mecha
sd_mecha.set_log_level()


text_encoder_recipe = sd_mecha.model("noobaiXLNAIXL_vPred10Version.safetensors", "sdxl")

unet_recipe = sd_mecha.add_perpendicular(
    sd_mecha.model("noobaiXLNAIXL_vPred10Version.safetensors", "sdxl"),
    sd_mecha.model("cyberrealisticXL_v4.safetensors", "sdxl"),
    sd_mecha.model("sd_xl_base_1.0_0.9vae.safetensors", "sdxl"),
)

recipe = sd_mecha.weighted_sum(
    text_encoder_recipe,
    unet_recipe,
    alpha=(
        sd_mecha.blocks("sdxl", "txt") |
        sd_mecha.blocks("sdxl", "txt2") |
        sd_mecha.default("sdxl", "unet", 1)
    ),
)

merger = sd_mecha.RecipeMerger(
    models_dir=r"C:\path\to\models\directory",
)

merger.merge_and_save(recipe, output="output.safetensors")

2) Add v_pred and ztsnr keys to the resulting model for autodetection in Comfy/Forge

from safetensors.torch import load_file, save_file
import torch

state_dict = load_file("output.safetensors")
state_dict["v_pred"] = torch.tensor([])
state_dict["ztsnr"] = torch.tensor([])
save_file(state_dict, "noobaiXLNAIXL_vPred10Version-cyberrealistic4-perpendicular.safetensors")