Stable Diffusion Nano 2 1

🚀 Stable Diffusion Nano 2.1

Stable Diffusion Nanoは、JAX/Diffusersコミュニティスプリント 🧨 の期間中に構築されました。

Stable Diffusionをベースに、128x128の画像でファインチューニングされたStable Diffusion Nanoは、拡散モデルの高速なプロトタイピングを可能にし、手軽に利用できるハードウェアですぐに実験を行えます。

いくつかのタスクでは妥当な結果を出しますが、顔などの細部に関しては苦戦します。

🚀 クイックスタート

プロンプト例と生成結果

プロンプト: A watercolor painting of an otter

プロンプト: Marvel MCU deadpool, red mask, red shirt, red gloves, black shoulders, black elbow pads, black legs, gold buckle, black belt, black mask, white eyes, black boots, fuji low light color 35mm film, downtown Osaka alley at night out of focus in background, neon lights

🔧 技術詳細

すべてのパラメータは、stabilityai/stable-diffusion-2-1-base モデルから初期化されました。U-netは以下のようにファインチューニングされました。

U-netのファインチューニング

• 200,000ステップ、学習率 = 1e-5、バッチサイズ = 992（TPUあたり248）。
• 100,000ステップ、SNRガンマ = 5.0、学習率 = 1e-5、バッチサイズ = 992（TPUあたり248）。
• LAION Improved Aesthetics 6plus で学習。

📄 ライセンス

このモデルはオープンアクセスで、すべての人が利用できます。CreativeML OpenRAIL-Mライセンスによって、さらに権利と使用方法が指定されています。CreativeML OpenRAILライセンスでは以下が規定されています。

• モデルを使って、意図的に違法または有害な出力やコンテンツを生成したり共有したりすることはできません。
• 作成者は、あなたが生成した出力に対して一切の権利を主張しません。あなたは自由にそれらを使用できますが、その使用はライセンスに定められた規定に違反してはなりません。
• 重みを再配布し、モデルを商用利用したりサービスとして提供したりすることができます。その場合、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンス全体を注意深く読んでください）。完全なライセンスはこちらをご覧ください。