Cool Japan Diffusion 2 1 1 Beta

🚀 Cool Japan Diffusion 2.1.1 Beta 模型卡片

Cool Japan Diffusion（用於學習）是對Stable Diffsion進行微調後，專門用於表現動漫、漫畫、遊戲等酷日本元素的模型。需注意，該模型與內閣府的酷日本戰略並無特別關聯。

🚀 快速開始

手軽に楽しみたい方は、こちらのSpaceをお使いください。 詳しい本モデルの取り扱い方はこちらの取扱説明書にかかれています。 モデルはここからダウンロードできます。

✨ 主要特性

這個模型能夠根據提示生成合適的圖像，其算法採用了 Latent Diffusion Model 和 OpenCLIP-ViT/H。

📦 安裝指南

安裝依賴庫

使用 🤗's Diffusers library 時，首先需要執行以下腳本安裝庫：

pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate scipy

💻 使用示例

基礎用法

from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler
import torch

model_id = "aipicasso/cool-japan-diffusion-2-1-1-beta"

scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16)#,use_auth_token="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")
pipe = pipe.to("cuda")

prompt = "anime, a portrait of a girl with black short hair and red eyes, kimono, full color illustration, official art, 4k, detailed"
negative_prompt="(((deformed))), blurry, ((((bad anatomy)))), bad pupil, disfigured, poorly drawn face, mutation, mutated, (extra limb), (ugly), (poorly drawn hands), bad hands, fused fingers, messy drawing, broken legs censor, low quality, ((mutated hands and fingers:1.5), (long body :1.3), (mutation, poorly drawn :1.2), ((bad eyes)), ui, error, missing fingers, fused fingers, one hand with more than 5 fingers, one hand with less than 5 fingers, one hand with more than 5 digit, one hand with less than 5 digit, extra digit, fewer digits, fused digit, missing digit, bad digit, liquid digit, long body, uncoordinated body, unnatural body, lowres, jpeg artifacts, 2d, 3d, cg, text"
image = pipe(prompt,negative_prompt=negative_prompt, width=512, height=512, num_inference_steps=20).images[0]
image.save("girl.png")

高級用法

⚠️ 重要提示

xformers を使うと早くなるらしいです。

💡 使用建議

GPUを使う際にGPUのメモリが少ない人は pipe.enable_attention_slicing() を使ってください。

📚 詳細文檔

模型詳細信息

模型的使用場景

預期用途

• 競賽：可向 AIアートグランプリ 投稿，但需公開用於微調的所有數據，並確保符合評審標準。若有相關需求，可在Hugging Face的社區告知作者。
• 圖像生成AI報道：無論是公共廣播還是營利企業，均可使用該模型進行相關報道。因為作者認為公眾有了解圖像合成AI信息的權利，且尊重報道自由。
• 酷日本介紹：向其他國家的人解釋酷日本的含義。Alfred Increment發現很多其他國家的留學生因被酷日本吸引而來日本，但卻常常對日本所謂“不酷”的酷日本文化感到失望，因此希望大家能更加自豪地展示自己國家令人嚮往的文化。
• 研發：可在Discord上使用該模型進行各種操作，如提示工程、微調（包括追加學習，如DreamBooth等）、與其他模型合併等。還可研究Latent Diffusion Model與酷日本元素的適配性，通過FID等指標檢查本模型的性能，使用校驗和或哈希函數檢查本模型是否獨立於Stable Diffusion以外的模型。
• 教育：適用於美術生、專科學校學生的畢業作品，大學生的畢業論文或課題製作，以及教師向學生介紹圖像生成AI的現狀。
• 自我表達：可在SNS上表達自己的情感和想法。
• Hugging Face社區用途：可使用日語或英語在社區提問。

非預期用途

• 不能將生成的內容當作事實進行表達。
• 不得用於盈利性的YouTube等內容。
• 不能直接作為商業服務提供。
• 不要給老師帶來困擾。
• 避免對創作行業造成負面影響。

禁止使用或惡意使用場景

• 請勿公開數字贗品 (Digital Forgery)，尤其是涉及現有角色的內容，因為這可能違反著作權法。不過，對於研究目的的相關推文（如 このツイート）是允許的。
• 未經他人許可，請勿對其作品進行Image-to-Image操作，以免違反著作權法。
• 請勿傳播淫穢物品，否則可能違反刑法175條。同時，要遵守行業規範。
• 不要將沒有事實依據的內容當作事實進行傳播，以免觸犯威力業務妨害罪，如傳播虛假新聞。

模型的侷限性和偏差

模型的侷限性

目前對模型的侷限性瞭解尚不充分。

偏差

該模型存在與Stable Diffusion相同的偏差，請使用者注意。

學習信息

學習數據

• VAE：主要使用了60萬種遵守日本國內法的數據（通過數據擴充可生成無限數量的樣本），這些數據排除了Danbooru等未經授權的轉載網站。
• U-Net：使用了80萬對遵守日本國內法的數據，同樣排除了Danbooru等未經授權的轉載網站。

學習過程

對Stable Diffusion的VAE和U-Net進行了微調。

• 硬件：RTX 3090
• 優化器：AdamW
• 梯度累積：1
• 批量大小：1

評估結果

文檔未提供相關評估結果信息。

環境影響

該模型對環境的影響極小。

• 硬件類型：RTX 3090
• 使用時間（單位：小時）：500
• 雲服務提供商：無
• 學習地點：日本
• 碳排放量：較少

🔧 技術細節

模型基於 Latent Diffusion Model 和 OpenCLIP-ViT/H 算法，通過對Stable Diffusion的VAE和U-Net進行微調，使用特定的學習數據和學習過程，以實現根據提示生成合適圖像的功能。

📄 許可證

本模型的許可證是在原始的 CreativeML Open RAIL++-M License 基礎上，除例外情況外，額外添加了禁止商業使用的條款。添加此條款的原因是擔心可能對創作行業產生負面影響。如果這種擔憂消除，下一版本將恢復原始許可證，允許商業使用。原始許可證的日語翻譯可參考這裡。在企業工作的人員請與法務部門人員協商。對於用於個人興趣的用戶，只要遵守一般常識，通常無需過於擔心。此外，根據許可證規定，即使對本模型進行改造，也需要繼承此許可證。

⚠️ 重要提示

中國將對圖像生成的人工智能實施法律限制。 （中國國內にいる人への警告）點擊查看相關法律

English version is here.

此模型卡片由 Alfred Increment 基於 Stable Diffusion v2 編寫。