Furception Vae

🚀 Furception v1.0、Project RedRocketによる開発

このプロジェクトは、e621の画像を使用してstabilityai/sd - vae - ft - mseから再開したVAEデコーダのファインチューニングです。MAEとMSEの損失関数を組み合わせて訓練することで、出力の鮮鋭度と滑らかさのバランスを維持しています。また、損失はOklab色空間で計算され、知覚的に重要な色チャンネルに基づいた画像再構成を優先しています。

🚀 クイックスタート

このVAEは、類似データで訓練されたモデルに使用すると、不要な高周波ノイズを除去するのに優れています。平坦な色の画像では、リアルな画像や絵画調の画像よりも結果が顕著ですが、どのタイプの画像でも明らかな性能低下は見られません。低解像度の生成画像では効果がより顕著ですが、すべての解像度で改善が見られます。データセットに含まれる様々なアートスタイルのため、幅広いアートスタイルに対してある程度の汎化性がある可能性があります。

デフォルトVAE (kl - f8)	Furception v1.0

⚠️ 重要提示

出力は全体的に滑らかで、高詳細領域のエッジ周辺のアーティファクトが大幅に減少しています。

✨ 主な機能

• 類似データで訓練されたモデルに使用すると、不要な高周波ノイズを除去する能力に優れています。
• 平坦な色の画像での結果が顕著ですが、どのタイプの画像でも性能低下は見られません。
• 低解像度の生成画像での効果がより顕著ですが、すべての解像度で改善が見られます。
• データセットの多様性により、幅広いアートスタイルに対する汎化性があります。

📄 ライセンス

このVAEは、[CC BY - NC - SA 4.0契約書](https://creativecommons.org/licenses/by - nc - sa/4.0/)の条件の下で利用可能です。これは、モデルの使用、デプロイ、およびモデルの重みの配布にのみ適用されます。このVAEによってデコードされた画像にはこのライセンスは適用されず、商用目的で作成していない限り、公開ドメインを含む任意のライセンスで公開することができます。このVAEをモデルと一緒に配布する場合は、クレジットを表示し、このVAEがこのライセンスを持っていることを明記する限り自由です（モデルの他の部分はこのライセンスを共有する必要はありませんが、その配布は非商用でなければなりません）。また、バージョン番号を含めることをお願いします。

🔧 技術詳細

訓練の概要

全体的な訓練は基本的にLDMに似ています。MAE、MSE、およびLPIPSについては、LDMとsd - vae - ft - mseで使用されているのと同じ相対的な基本重みを使用しています。損失関数における識別器の重みは、識別器の勾配ノルムが再構成損失の半分になるように動的に設定されています。識別器はLDMで使用されているものに似ていますが、Wasserstein損失と勾配ペナルティを使用するように再パラメータ化され、グループ正規化層がレイヤー正規化層に置き換えられています。

バージョン1.0の訓練

バージョン1.0の訓練では、様々な縮小率でランダムな正方形のクロップを使用し、ランダムに回転および反転させました。バッチサイズ32で150,000ステップの訓練を行いました。EMAの重みは、sd - vae - ft - mseと同様の減衰率を使用して蓄積され、モデルのリリースバージョンとして使用されています。

クレジット

• 開発と研究の主導: @drhead
• 研究と開発の支援: @RedHotTensors
• 追加の研究支援: @lodestones、Thessalo
• データセットのキュレーション: @lodestones、Bannanapuncakes、@RedHotTensors
• システム管理の支援: dogarrowtype

ベースとなったもの

• CompVis Latent Diffusion: https://github.com/CompVis/latent - diffusion/
• StabilityAI sd - vae - ft - mse: https://huggingface.co/stabilityai/sd - vae - ft - mse
• LPIPS by Richard Zhang, et al: https://github.com/richzhang/PerceptualSimilarity
• OkLab by Björn Ottosson: https://bottosson.github.io/posts/oklab/
• fine - tune - models by Jonathan Chang: https://github.com/cccntu/fine - tune - models/

ビルトオン

• Flax by Google Brain: https://github.com/google/flax
• Huggingface Diffusers: https://github.com/huggingface/diffusers

この非商用研究プロジェクトでの公正使用のために作品を公開してくれた無数のアーティストに深く感謝します。