Mitsua Likes

🚀 Mitsua Likes：基於用戶“喜好”數據訓練的文生圖擴散模型

Mitsua Likes是一款支持日語和英語的文生圖潛在擴散模型，專為AI VTuber絵藍ミツア打造。它僅使用明確許可、開放許可和公共領域的數據進行訓練，不依賴任何未授權的圖像或文本數據集，具有較高的合規性和創新性。該模型在特定領域的圖像生成上表現出色，如動漫風格的簡單肖像和風景。

🚀 快速開始

安裝Python包

pip install transformers sentencepiece diffusers

驗證版本如下：

transformers==4.44.2
diffusers==0.31.0
sentencepiece==0.2.0

運行代碼

from diffusers import DiffusionPipeline
import torch
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.float16

pipe = DiffusionPipeline.from_pretrained("Mitsua/mitsua-likes", trust_remote_code=True).to(device, dtype=dtype)

# 日語或英語提示詞
prompt = "滝の中の絵藍ミツア、先生アート"
# prompt = "elanmitsua in waterfall, sensei art, analog, impressionism painting"
negative_prompt = "elan doodle, lowres"

ret = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=5.0,
    guidance_rescale=0.7,
    width=768,
    height=768,
    num_inference_steps=40,
)

# 務必檢查相似性判定AI的結果
# Please check similarity detection model output
print("Similarity Restriction:", ret.detected_public_fictional_characters[0])
print("Similarity Measure:")
for k, v in ret.detected_public_fictional_characters_info[0].items():
    print(f"{k} : {v:.3%}")

image = ret.images[0]

✨ 主要特性

• 數據合規：僅使用明確許可、開放許可和公共領域的數據進行訓練，不使用其他預訓練模型的合成數據，不依賴未授權的圖像或文本數據集。
• 從頭訓練：模型的整個架構（CLIP文本編碼器、VAE和UNet）完全從頭開始訓練，不使用任何預訓練模型的知識。
• 特定領域擅長：雖然對大多數現代概念和複雜提示的處理能力有限，但在生成特定類型的圖像（如簡單的動漫風格肖像和風景）方面表現出色。
• 版權認證：獲得了美國非營利組織Fairly Trained的認證，表明該模型未在未經許可的受版權保護作品上進行訓練。

📦 安裝指南

安裝所需的Python包：

pip install transformers sentencepiece diffusers

驗證版本如下：

transformers==4.44.2
diffusers==0.31.0
sentencepiece==0.2.0

💻 使用示例

基礎用法

from diffusers import DiffusionPipeline
import torch
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.float16

pipe = DiffusionPipeline.from_pretrained("Mitsua/mitsua-likes", trust_remote_code=True).to(device, dtype=dtype)

# 日語或英語提示詞
prompt = "滝の中の絵藍ミツア、先生アート"
# prompt = "elanmitsua in waterfall, sensei art, analog, impressionism painting"
negative_prompt = "elan doodle, lowres"

ret = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=5.0,
    guidance_rescale=0.7,
    width=768,
    height=768,
    num_inference_steps=40,
)

# 務必檢查相似性判定AI的結果
# Please check similarity detection model output
print("Similarity Restriction:", ret.detected_public_fictional_characters[0])
print("Similarity Measure:")
for k, v in ret.detected_public_fictional_characters_info[0].items():
    print(f"{k} : {v:.3%}")

image = ret.images[0]

📚 詳細文檔

模型詳情

模型架構

CLIP文本編碼器

• 12層掩碼文本轉換器
• 分詞器：具有64k詞彙表的sentencepiece分詞器
• 最大長度：64個標記
• 此文本編碼器來自Mitsua Japanese CLIP

VAE

• 使用基於公式的小波損失進行訓練，確保不依賴任何ImageNet數據。
• VAE解碼器經過微調，可以在圖像中嵌入不可見水印，參考了The Stable Signature論文，但基於自己的實現。
• 通過將水印處理放在VAE中而不是作為後處理，使得在生成圖像時無法去除水印，便於區分圖像是否由Mitsua Likes生成。
• 潛在通道數：8
• 注意：此倉庫的VAE編碼器權重已初始化，以防止未經授權的微調。如需VAE編碼器權重，請從My Mitsua Likes Waitlist Registration申請。
• 總訓練步數：280k步，批次大小240，分辨率256x256，約需800個RTX4090小時。

UNet

• UNet架構大量參考了SDXL的UNet，但根據Scalability survey by Hao Li et al減少了參數數量，以適應相對較小的訓練數據規模。
• 訓練過程與現有擴散模型基本相同，採用漸進式分辨率訓練，並以縱橫比桶訓練結束。
• UNet訓練是最耗費計算資源的部分，為了實現預算內訓練，需要加快UNet訓練速度。
• 通過將UNet和VAE編碼器處理分配到不同的GPU上，並將UNet訓練資源集中在較少的GPU上，最小化了UNet同步開銷，使UNet訓練速度提高了67%。所有訓練都在單個8xH100節點上完成，UNet總訓練約需2000個H100 GPU小時。

角色相似度判定模型

• 該模型是基於Swin Base Multi Fractal 1k微調的Swin Transformer多標籤分類模型，該模型在Multi Fractal Images上進行了預訓練。
• 訓練數據是Mitsua Japanese CLIP model的一個子集。

預期用途

• 生成用於進一步創意創作的藝術作品
• 生成模型的研究或教育

非預期用途

以任何方式侵犯他人權利（版權、公開權、隱私權等）或對他人造成傷害均屬於對該模型的濫用，包括但不限於：

• 歧視、誹謗或侮辱他人，損害其名譽或信譽。
• 侵犯或可能侵犯他人的知識產權或隱私權。
• 傳播不公正地損害他人利益的信息或內容。
• 傳播虛假信息或內容。

請閱讀Mitsua Likes BY - NC "Prohibitions"瞭解更多詳情。

訓練數據

• CLIP訓練數據：請參閱Mitsua Japanese CLIP模型卡片
• 生成模型訓練數據：我們的數據集是選擇加入/開放許可數據和公共領域/CC0數據的混合。在訓練前，會根據元數據和標題進行預過濾，以排除潛在的侵權、有害或不適合工作場所的數據。
  • "Mitsua Likes"數據集：來自選擇加入的貢獻者的許可數據。所有貢獻者在加入時都經過篩選，所有提交的圖像都經過人工驗證。使用AI生成內容檢測器排除潛在的AI生成圖像。
  • VRM Color Concept 550K（CC BY - NC 4.0，我們整理了這個數據集）
  • Safe Commons PD 3M（CC BY - SA 4.0，我們整理了這個數據集）
  • Art Museums PD Dataset（CC BY 4.0，我們整理了這個數據集）

免責聲明

• 生成結果可能非常不準確、有害或有偏差。該模型是為了研究僅使用相對較小的許可數據可達到的性能而開發的，不適合需要高生成準確性的用例。ELAN MITSUA Project / Abstract Engine對因使用該模型造成的任何直接或間接損失不承擔責任。

🔧 技術細節

模型架構設計

• CLIP文本編碼器：採用12層掩碼文本轉換器，使用具有64k詞彙表的sentencepiece分詞器，最大長度為64個標記。
• VAE：使用基於公式的小波損失進行訓練，確保不依賴ImageNet數據。VAE解碼器經過微調，可以嵌入不可見水印。
• UNet：架構參考SDXL的UNet，但減少了參數數量以適應小數據集。採用漸進式分辨率訓練和縱橫比桶訓練。
• 角色相似度判定模型：基於Swin Transformer的多標籤分類模型，用於檢查生成圖像是否與某些許可的虛構角色相似。

訓練優化策略

• 訓練數據篩選：使用元數據和標題進行預過濾，排除潛在的侵權、有害或不適合工作場所的數據。
• 訓練速度提升：通過將UNet和VAE編碼器處理分配到不同的GPU上，最小化UNet同步開銷，使UNet訓練速度提高了67%。

📄 許可證

本模型採用Mitsua Likes 署名 - 非商業許可（英文） / Mitsua Likes 表示 - 非営利ライセンス（日文）。生成結果需標註"Mitsua Likes"，商用僅限個人創作目的，禁止用於訓練其他模型。企業商用請聯繫我們。

🌟 貢獻者致謝

贊助商老師

• 霧太郎/HAnS N Erhard老師
• pikurusu39老師
• ムスビイト老師
• 夢前黎 / つくよみちゃんプロジェクト老師
• Hussini老師
• 力ナディス老師
• るな老師

感謝你們一直以來的支持！

所有Mitsua貢獻者

• 霧太郎/HAnS N Erhard, pikurusu39, Hussini, 燈坂アキラ, ムスビイト, ネセヨレワ, 亞襲, E - Ken, とまこ, Nr. N, RI - YAnks, mkbt, 最中亜梨香/中森あか, 夢観士, KIrishusei, 長岡キヘイ, username_Kk32056, 相生創, 柊 華久椰, nog, 加熱九真, amabox, 野々村のの, 嘯(しゃお), 夢前黎 / つくよみちゃんプロジェクト, みきうさぎ, るな, テラ リソース / Tera Resource (素材系サークル), 力ナディス, とあ, 莉子, Roach = Jinx, ging ging.jpeg, 毛玉, 寢てる貓, ぽーたー, やえした みえ, mizuchi, 262111, 乙幡皇鬥羽, ゆう, とどめの35番, WAYA, 明煉瓦, 桐生星斗(投稿物生成物使用自由), rcc, ask, L, 弐人, 石川すゐす, Sulphuriy, 602e, 中屋, IRICOMIX, 琵來山まろり(畫像加工可), とりとめ, cha, 鏡雙司, YR, えれいた, mariedoi, あると, あああ, らどん, netai98, 脂質, つあ🌠, ろすえん, 善良, UranosEBi, lenbrant, 長谷川, 輝竜司 / citrocube, 詩原るいか, 末広うた, 翠泉, 月波 清火, ゆぬ, 駒込ぴぺっこ, 原動機, ふわふわわ
• (敬稱略)
• 最新Mitsua貢獻者致謝

👥 官方授權角色

我們已獲得官方許可，對以下日本虛構角色的官方提供圖像及選擇加入的貢獻者的粉絲藝術作品進行訓練：

• つくよみちゃん
• 東北ずん子・ずんだもんプロジェクト
• 紡ネン
• フィーちゃん

⚠️ 重要提示

• 生成結果可能不準確、有害或有偏差，不適合需要高生成準確性的場景。
• 使用該模型時，需遵守Mitsua Likes BY - NC "Prohibitions"的規定，避免侵犯他人權利。

💡 使用建議

• 在使用模型生成圖像後，務必檢查相似性判定AI的結果，以確保生成圖像不侵犯他人版權。
• 對於企業商用需求，請通過聯繫我們獲取詳細信息。