Acertainmodel

🚀 ACertainModel

このモデルは、わずかなプロンプトで高品質かつ詳細なアニメスタイルの画像を生成する潜在拡散モデルです。他のアニメスタイルのStable Diffusionモデルと同様に、アーティストを含むdanbooruタグをサポートして画像を生成します。

🚀 クイックスタート

Google Colabの無料T4で全機能を試す

コミュニティのアートワークはTwitterの #ACertainModel をチェックしてください。

このモデルは、わずかなプロンプトで高品質かつ詳細なアニメスタイルの画像を生成することを目的としています。他のアニメスタイルのStable Diffusionモデルと同様に、アーティストを含むdanbooruタグをサポートして画像を生成することができます。

Stable-Diffusion-v-1-4チェックポイントで導入されたlaion-aestheticsがアニメスタイルのイラスト生成モデルの微調整を妨げることに気づき、Dreamboothを使用して一部のタグを個別に微調整し、SD1.2に近づけました。過学習と潜在的な言語ドリフトを避けるために、Anything-3.0などのコミュニティで人気のあるモデルを使用して、単語プロンプトから自動生成された大量の画像をトレーニングセットに追加し、一部手動で選択された1年以内の完全なdanbooru画像とともに、さらにネイティブトレーニングを行いました。また、LoRA の方法も知っており、同様の考え方で、注意層のみを微調整することで、目や手などの細部でより良いパフォーマンスを得ることができます。

著作権遵守と技術実験のために、いくつかのアーティストの画像から直接トレーニングを行いました。コミュニティで人気のあるいくつかの拡散モデルから生成された画像を使用してDreamboothでトレーニングしました。チェックポイントはStable Diffusionモデルの重みで初期化され、その後、V100 32GBで2K GPU時間、A100 40GBで600 GPU時間、512Pの動的アスペクト比解像度で、コミュニティで人気のあるいくつかの拡散モデルから自動生成された画像と、いくつかのTextual InversionsとHypernetworksを使用して、一定の比率で教師なし自動生成画像を含めて微調整されました。xformersと8ビット最適化のトリックも知っていますが、より良い品質と安定性のために使用していません。最大15のブランチが同時にトレーニングされ、約20,000ステップごとにチェリーピックされます。

例: masterpiece, best quality, 1girl, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden

✨ 主な機能

オンラインプレビューとモデルによる生成について

パラメータの変更は許可されていません。Clip skip: 1 で生成されているようですが、より良いパフォーマンスを得るために、Clip skip: 2 の使用を強くお勧めします。

独自のサーバーで適用可能な場合の推論設定の例を以下に示します: Steps: 28, Sampler: Euler a, CFG scale: 11, Clip skip: 2。

Diffusers

このモデルは、他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusion を参照してください。

また、このモデルを ONNX、MPS、および/またはFLAX/JAXにエクスポートすることもできます。

💻 使用例

基本的な使用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "JosephusCheung/ACertainModel"
branch_name= "main"

pipe = StableDiffusionPipeline.from_pretrained(model_id, revision=branch_name, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "pikachu"
image = pipe(prompt).images[0]

image.save("./pikachu.png")

生成画像の例

このモデルを使用して生成された画像の例を以下に示します。他の類似モデルと比較して、構図や手のジェスチャー、移動するオブジェクトに対してより良いパフォーマンスを発揮します。

アニメガール:

1girl, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

アニメボーイ:

1boy, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

📄 ライセンス

このモデルはオープンアクセスです。CreativeML OpenRAIL-Mライセンスによって、権利と使用方法がさらに規定されています。

CreativeML OpenRAILライセンスでは以下が規定されています:

1. モデルを使用して、意図的に違法または有害な出力やコンテンツを生成したり共有したりすることはできません。
2. 作者は生成された出力に対して権利を主張せず、ユーザーは自由に使用することができますが、ライセンスに定められた規定に違反しないように責任を負います。
3. 重みを再配布し、モデルを商用および/またはサービスとして使用することができます。その場合、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンス全体を注意深く読んでください）。 完全なライセンスはこちらを読んでください

📚 ドキュメント

NovelAIベースのモデルか？SD1.2とSD1.4との関係は？

ASimilarityCalculatior を参照してください。