Sdart Synesthesia

🚀 SDArt : Synesthesia (バージョンは1.5ベース)

このモデルは、色が味を持ち、音が質感を持つ世界を再現することで、感覚の融合である「Synesthesia」のエッセンスを捉えた画像生成モデルです。Stable Diffusionをベースにしており、独特なテーマを持った画像を生成できます。

🚀 クイックスタート

このモデルは他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusionを参照してください。また、モデルをONNX、MPS、および/またはFLAX/JAXにエクスポートすることもできます。

from diffusers import StableDiffusionPipeline
import torch

model_id = "Guizmus/SDArt_synesthesia"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "SDArt minh"
image = pipe(prompt).images[0]

image.save("./SDArt.png")

✨ 主な機能

• 「Synesthesia」のテーマに沿った画像を生成できます。
• 音、色、質感の交差する世界を表現した画像を創り出せます。
• ユーザーの投稿を元にしたモデルで、多様なデザインを再現できます。

📦 インストール

このモデルはHugging Face上で公開されています。以下のリンクからダウンロードできます。

• SafeTensors
• CKPT
• Dataset

💻 使用例

基本的な使用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "Guizmus/SDArt_synesthesia"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "SDArt minh"
image = pipe(prompt).images[0]

image.save("./SDArt.png")

📚 ドキュメント

テーマ

Dear @Challengers ,

In a world where colors have flavor, and sounds have texture, The senses intertwine to create a sensory rapture. Welcome to “Synesthesia”- where the ordinary is extraordinary, And art takes on a meaning that’s truly visionary! :Rainbowpink:

Synesthesia /ˌsɪn.əsˈθiː.ʒə/: 感覚の異常な融合で、ある感覚の刺激が同時に別の感覚を引き起こす現象です。Synesthetesは色を聞き、音を感じ、形を味わうことができます。

• 感覚の融合であるSynesthesiaのエッセンスを捉えた画像を作成しましょう。音、色、質感の交差点を探求しましょう。メロディを味わう、香りを感じる、色付きの言葉を見るとはどのような感じでしょうか？

• 雷雨の音を味わうとはどのような光景でしょうか？太陽の暖かさを肌で感じる感覚をどのように可視化しますか？それとも、特定の色を味わうことはどうでしょうか？たとえば、鮮やかな赤いリンゴや冷たいブルーベリーなど。

• Synesthesiaの可能性とその多様な解釈を探求しましょう！

モデルの説明

このモデルは、Stable Diffusion discordの「Picture of the Week」コンテストに関連するモデルです。イベント終了後も人々がテーマを楽しめるように、すべての投稿からモデルを作成し、他の人の作品に少しでも自分たちのデザインが反映されるようにしました。トークンは「SDArt」のままで、学習を低めにバランスさせているので、単に作品を複製することはありません。

データセットは合計39枚の画像で構成されています。Stable diffusion 1.5で学習されました。学習にはEveryDreamを使用し、画像1枚あたり合計100回の繰り返し学習を行いました。画像はトークン「SDArt」と任意に選んだトークンを使用してタグ付けされています。データセットと、ユーザー名とそれに対応するトークンのリストを以下に示します。

推奨されるサンプリング方法は、20ステップでk_Euler_aまたはDPM++ 2M Karras、CFGS 7.5です。

このモデルはこちらでも利用でき、2.1をベースに学習されたバージョンがあります。

学習されたトークン

• SDArt
• dyce
• bnp
• keel
• aten
• fcu
• lpg
• mth
• elio
• gani
• pfa
• kprc
• cpec
• kuro
• asot
• psst
• sqm
• irgc
• cq
• utm
• guin
• crit
• mlas
• isch
• vedi
• dds
• acu
• oxi
• kohl
• maar
• mako
• mds
• mert
• mgt
• miki
• minh
• mohd
• mss
• muc
• mwf

🔧 技術詳細

• 合計39枚の画像から構成されたデータセットを使用しています。
• Stable diffusion 1.5をベースに学習されています。
• EveryDreamを使用して学習を行い、画像1枚あたり100回の繰り返し学習を行っています。

📄 ライセンス

このモデルはcreativeml-openrail-mライセンスの下で公開されています。