SD15 768

🚀 文本到圖像模型微調項目

本項目是對Stable Diffusion 1.5進行的微調，採用了RunwayML的MSE VAE，旨在生成標稱尺寸為768x768或總像素數相近的各種寬高比的圖像。

✨ 主要特性

• 基於Stable Diffusion 1.5進行微調，使用RunwayML的MSE VAE。
• 利用EveryDream2在30,000張精心挑選的圖像上進行了40個週期的微調，這些圖像涵蓋了美術、攝影和視頻遊戲等多種類型。
• 採用aspect ratio batch fitting技術，大大減少了裁剪偽影。
• 相比原始的SD1.5檢查點，高分辨率輸出更加一致。

🔧 技術細節

本模型使用EveryDream2（https://github.com/victorchall/EveryDream2trainer）進行微調，具體訓練細節如下：

• 訓練週期：共進行了4個階段，每個階段10個週期，總計40個週期。
• 訓練圖像：使用了30,000張精心挑選的圖像，涵蓋了美術、攝影和視頻遊戲等多種類型。
• 訓練時間：在RTX 6000 Ada 48GB上大約需要60小時。
• 訓練尺寸：初始訓練尺寸為512，批次大小為12；然後調整為640，批次大小為12；最後調整為768，批次大小為8，並進行4次梯度累積。
• 優化器：Unet權重使用bitsandbytes AdamW8bit優化器，學習率為1e-6，前30個週期使用恆定學習率，最後10個週期使用餘弦學習率。
• 文本編碼器：通過Unet的反向傳播進行微調，使用相同的AdamW8bit優化器，學習率為2e-7餘弦，權重衰減為0.040。

📄 許可證

本項目使用CreativeML OpenRAIL-M許可證。