Neopian Diffusion

🚀 ネオピアン・ディフュージョン (開発中、スタイルの学習は未完成)

このプロジェクトは、Stable Diffusionモデルをベースに、runwayml/stable-diffusion-v1-5 から始めて、https://www.neopets.com/funimages.phtml のGIF画像から抽出した画像を用いて学習を行っています。CLIP ViT-B/32 (OpenAI) を使用して、与えられたキャプションとGIFのペアごとに、GIFの最も一致するフレームをフィルタリングしました。球面距離が最小のフレームを選択し、学習用に保存しました。合計で約100x100pxの1950枚の画像が学習に使用されています。DreamBoothモデルは、Colab T4上で微調整され、プロンプトに "low-resolution" という用語をさまざまな重みで連結することで、最終結果のアーティファクトを軽減することを目指しています（Discord上の誰かがTextual Inversionsの学習時に否定的な用語を使用する仮説についてのリンクを参照してください https://cdn.discordapp.com/attachments/1008246088148463648/1041538692432527470/image.png）。

CLIPによるGIFの選択フレームの例

キャプション	未処理のGIF	選択されたフレーム
"yurble_baby_clap"

🚀 クイックスタート

このセクションでは、diffusers ライブラリを使用してネオピアン・ディフュージョンを使う方法を説明します。

✨ 主な機能

• Stable Diffusionモデルをベースに、ネオペッツの画像を用いて学習
• CLIPを使用してGIFから最適なフレームを選択
• DreamBoothを用いた微調整により、アーティファクトを軽減

📦 インストール

必要なライブラリのインストール

⚠️ 重要提示

このモデルは、少なくとも1つのCUDA対応のNVIDIA GPUを持つコンピュータで動作します。

pip install diffusers transformers ftfy scipy accelerate

ログイン

ログインには、huggingface-cli login コマンドを使用する必要があります。

💻 使用例

基本的な使用法

必要なライブラリのインポート

import torch
from torch import autocast
from diffusers.models import AutoencoderKL
from diffusers import StableDiffusionPipeline

パイプラインの作成

pipe = StableDiffusionPipeline.from_pretrained("doohickey/neopian-diffusion", use_auth_token=True)
pipe = pipe.to("cuda")

NSFWフィルターの無効化（オプション）

⚠️ 重要提示

この設定を無効にすることは推奨されませんが、一部の基本的なプロンプトで問題が発生する場合に提供しています。AIアートには多数のユーザーがいるため、未成年や敏感なユーザーを保護してください。

def dummy(images, **kwargs): 
	return images, False
			
pipe.safety_checker = dummy

画像生成

prompt = "my prompt"

with autocast("cuda"):
  image = pipe(prompt=prompt, num_inference_steps=100, width=512, height=512, guidance_scale=15).images[0]
  
image.save("image.png")

📚 ドキュメント

学習詳細

第1段階 (0 - 8kステップ)

テキストエンコーダとUNetを半精度で総ステップ数8,000の15%（1,200ステップ）学習し、その後はUNetのみを学習しました。多項式学習率減衰を使用し、初期学習率は2e-6（fast-DreamBoothのデフォルト）です。プロンプトの1/3に "low quality" を連結し、448x448で学習しました。

第2段階 (8k - 16k)

テキストエンコーダを50%のステップ数で学習し、10%のプロンプトに "low quality" "lowres" "jpeg" をランダムに連結しました。初期学習率は1e-6で、384x384で学習しました。

📄 ライセンス

このモデルは、creativeml-openrail-mライセンスの下で提供されています。

ネオペッツの著作権表示

"忘れないでください。これらの画像をネオペッツ以外のページで使用する場合は、著作権表示を含める必要があります。" https://www.neopets.com/terms.phtml