🚀 Protogen v2.2 (Anime) 公式リリース
Protogen v2.2は、アニメーションスタイルの画像生成に特化した研究モデルです。Stable Diffusionをベースに多様なデータセットでファインチューニングされており、高品質な画像生成が可能です。
Research Model by darkstorm2150
🚀 クイックスタート
Protogen v2.2を使用する前に、以下の情報を確認してください。このモデルはStable Diffusion v1-5をウォームスタートとして使用し、civitai.comの大規模データセットでファインチューニングされています。
✨ 主な機能
- 高度な画像生成："modelshoot style"をプロンプトに含めることで、カメラキャプチャを強制することができます。
- Dreambooth対応：少ないステップ数で高忠実度の顔画像を生成できます（dreamboothを参照）。
- Granular Adaptive Learning：データの特定のパターンや特徴に適応することができる機械学習手法を採用しています。
📦 インストール
このモデルを実行するには、model.ckptまたはmodel.safetensorをダウンロードし、stable-diffusion-webui\models\Stable-diffusionディレクトリにインストールしてください。
💻 使用例
基本的な使用法
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
import torch
prompt = (
"modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, "
"english medieval witch, black silk vale, pale skin, black silk robe, black cat, necromancy magic, medieval era, "
"photorealistic painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, "
"trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic painting art by midjourney and greg rutkowski"
)
model_id = "darkstorm2150/Protogen_v2.2_Official_Release"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")
image = pipe(prompt, num_inference_steps=25).images[0]
image.save("./result.jpg")
📚 ドキュメント
トリガーワード
modelshoot style：カメラキャプチャを強制するためのトリガーワードです。hassan1.4とf222にもトリガーワードがありますが、詳細はグーグルで検索してください。
モデルのダウンロード
CKPT
Safetensors
チェックポイントマージデータ参照
| Models |
Protogen v2.2 (Anime) |
Protogen x3.4 (Photo) |
Protogen x5.3 (Photo) |
Protogen x5.8 (Sci-fi/Anime) |
Protogen x5.9 (Dragon) |
Protogen x7.4 (Eclipse) |
Protogen x8.0 (Nova) |
Protogen x8.6 (Infinity) |
| seek_art_mega v1 |
52.50% |
42.76% |
42.63% |
|
|
|
25.21% |
14.83% |
| modelshoot v1 |
30.00% |
24.44% |
24.37% |
2.56% |
2.05% |
3.48% |
22.91% |
13.48% |
| elldreth v1 |
12.64% |
10.30% |
10.23% |
|
|
|
6.06% |
3.57% |
| photoreal v2 |
|
|
10.00% |
48.64% |
38.91% |
66.33% |
20.49% |
12.06% |
| analogdiffusion v1 |
|
4.75% |
4.50% |
|
|
|
1.75% |
1.03% |
| openjourney v2 |
|
4.51% |
4.28% |
|
|
4.75% |
2.26% |
1.33% |
| hassan1.4 |
2.63% |
2.14% |
2.13% |
|
|
|
1.26% |
0.74% |
| f222 |
2.23% |
1.82% |
1.81% |
|
|
|
1.07% |
0.63% |
| hasdx |
|
|
|
20.00% |
16.00% |
4.07% |
5.01% |
2.95% |
| moistmix |
|
|
|
16.00% |
12.80% |
3.86% |
4.08% |
2.40% |
| roboDiffusion v1 |
|
4.29% |
|
12.80% |
10.24% |
3.67% |
4.41% |
2.60% |
| RPG v3 |
|
5.00% |
|
|
20.00% |
4.29% |
4.29% |
2.52% |
| anything&everything |
|
|
|
|
|
4.51% |
0.56% |
0.33% |
| dreamlikediff v1 |
|
|
|
|
|
5.0% |
0.63% |
0.37% |
| sci-fidiff v1 |
|
|
|
|
|
|
|
3.10% |
| synthwavepunk v2 |
|
|
|
|
|
|
|
3.26% |
| mashupv2 |
|
|
|
|
|
|
|
11.51% |
| dreamshaper 252 |
|
|
|
|
|
|
|
4.04% |
| comicdiff v2 |
|
|
|
|
|
|
|
4.25% |
| artEros |
|
|
|
|
|
|
|
15.00% |
🔧 技術詳細
Granular adaptive learningは、機械学習の手法の一つで、モデルに対するグローバルな調整ではなく、細かいレベルで学習プロセスを調整することに焦点を当てています。このアプローチにより、モデルは一般的な傾向に基づく仮定ではなく、データ内の特定のパターンや特徴に適応することができます。
この手法は、アクティブラーニングなどの技術を通じて実現でき、モデルが学習したいデータを選択することができます。また、強化学習を使用して、モデルのパフォーマンスに関するフィードバックを受け取り、それに基づいて適応することもできます。オンライン学習などの手法を通じて、モデルがより多くのデータを受け取るたびに自動的に調整することも可能です。
Granular adaptive learningは、データが非常に多様で非定常であり、モデルが変化するパターンに迅速に適応する必要がある状況でよく使用されます。これは、ロボット工学、金融市場、自然言語処理などの動的な環境でよく見られます。
📄 ライセンス
モデルをダウンロードすることで、以下のライセンスの条件に同意したことになります。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応