SD15 768

🚀 テキストから画像生成モデル

Stable Diffusion 1.5を微調整したモデルで、768x768または同等の総画素数のさまざまなアスペクト比で画像生成が可能です。

🚀 クイックスタート

このモデルは、RunwayMLのMSE VAEを使用してStable Diffusion 1.5を微調整したもので、標準サイズ768x768または同等の総画素数のさまざまなアスペクト比で画像を生成するように調整されています。

✨ 主な機能

• 30,000枚の厳選された画像を使用して、美術、写真、ゲームなどの多様な画像を学習しています。
• EveryDream2 (https://github.com/victorchall/EveryDream2trainer) を使用して40エポックにわたって微調整されています。
• アスペクト比バッチフィッティングが実装されており、切り取りアーティファクトが大幅に削減されています。
• 高解像度の出力が安定しており、元のSD1.5チェックポイントと比較して、学習した512x512解像度を超えた場合の被写体の重複が減少しています。

🔧 技術詳細

学習条件

• 学習にはEveryDream2 (https://github.com/victorchall/EveryDream2trainer) を使用し、4セッション（各セッション10エポック）で合計40エポックの学習を行いました。
• 学習データは30,000枚の手選びされた画像で、美術、写真、ゲームなどの多様な画像が含まれています。
• RTX 6000 Ada 48GBでの学習時間は約60時間です。最初は標準サイズ512でバッチサイズ12、次に640でバッチサイズ12、最後に768でバッチサイズ8、勾配累積ステップ4で学習しました。
• Unetの重みはbitsandbytesのAdamW8bitオプティマイザを使用し、学習率1e-6で調整しました。最初の30エポックは一定の学習率、最後の10エポックはコサインスケジューラを使用しました。
• テキストエンコーダはUnetを通じて逆伝播により調整され、同じAdamW8bitオプティマイザを使用し、学習率2e-7のコサインスケジューラと重み減衰0.040を適用しました。

オプティマイザの状態

テキストエンコーダとUnetそれぞれのオプティマイザの状態が.pt形式で提供されており、Diffusersの重みとともにEveryDream2トレーナーソフトウェアで再開することができます。

📄 ライセンス

このモデルはCreativeML OpenRAIL-Mライセンスの下で提供されています。