Stable Diffusion Xl Refiner 0.9

🚀 SD-XL 0.9-refiner模型介紹

SD-XL 0.9-refiner是一款基於擴散的文生圖生成模型，可根據文本提示生成和修改圖像。它採用兩步潛在擴散管道，先由基礎模型生成所需輸出大小的潛變量，再用高分辨率模型和SDEdit技術對潛變量進行處理。該模型僅用於研究目的，在圖像生成方面有一定優勢，但也存在一些侷限性和偏差。

🚀 快速開始

模型獲取

此模型相關內容可在 這裡 獲取。

安裝依賴

確保將 diffusers 升級到 >= 0.18.0：

pip install diffusers --upgrade

此外，還需安裝 transformers、safetensors、accelerate 以及 invisible_watermark：

pip install transformers accelerate safetensors invisible_watermark

使用示例

基礎用法

你應該將精煉器與 stabilityai/stable-diffusion-xl-base-0.9 結合使用，示例代碼如下：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-0.9", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# if using torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

prompt = "An astronaut riding a green horse"

image = pipe(prompt=prompt, output_type="latent").images

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-refiner-0.9", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# if using torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

images = pipe(prompt=prompt, image=image).images

高級用法

當使用 torch >= 2.0 時，你可以通過 torch.compile 提高推理速度20 - 30%。在運行管道之前，用 torch.compile 包裝 unet：

pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

如果你受限於GPU顯存，可以通過調用 pipe.enable_model_cpu_offload 來啟用CPU卸載，而不是 .to("cuda")：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

✨ 主要特性

• 兩步潛在擴散管道：先由基礎模型生成潛變量，再用高分辨率模型和SDEdit技術處理，提高圖像生成質量。
• 結合使用：需與基礎模型結合，作為圖像到圖像的模型使用，而非純文生圖模型。

📚 詳細文檔

模型信息

屬性	詳情
開發者	Stability AI
模型類型	基於擴散的文生圖生成模型
許可證	SDXL 0.9研究許可證
模型描述	可根據文本提示生成和修改圖像，是一個 潛在擴散模型，使用預訓練的文本編碼器 (OpenCLIP-ViT/G)
更多信息資源	GitHub倉庫 SDXL論文
模型來源倉庫	https://github.com/Stability-AI/generative-models
演示地址（可選）	https://clipdrop.co/stable-diffusion

模型工作流程

SDXL採用兩步潛在擴散管道：

1. 第一步：使用基礎模型生成所需輸出大小的潛變量。
2. 第二步：使用專門的高分辨率模型，並對第一步生成的潛變量應用SDEdit技術（https://arxiv.org/abs/2108.01073，也稱為“img2img”），使用相同的提示。

用途

直接使用

該模型僅用於研究目的，可能的研究領域和任務包括：

• 藝術品生成，用於設計和其他藝術過程。
• 教育或創意工具中的應用。
• 生成模型的研究。
• 安全部署可能生成有害內容的模型。
• 探索和理解生成模型的侷限性和偏差。

超出範圍的使用

該模型並非用於真實準確地表示人物或事件，因此使用該模型生成此類內容超出了其能力範圍。

侷限性和偏差

侷限性

• 無法實現完美的照片級真實感。
• 無法渲染清晰可讀的文本。
• 在處理涉及組合性的複雜任務時存在困難，例如渲染與 “紅色立方體在藍色球體上” 對應的圖像。
• 面部和人物的生成可能不理想。
• 模型的自動編碼部分存在信息損失。

偏差

圖像生成模型雖然功能強大，但可能會強化或加劇社會偏差。

評估

上圖評估了用戶對SDXL（有和沒有精煉）相對於Stable Diffusion 1.5和2.1的偏好。SDXL基礎模型的表現明顯優於之前的版本，結合精煉模塊的模型整體性能最佳。

📄 許可證

版權聲明

版權所有 (c) Stability AI Ltd.

許可協議

本許可協議（可根據本許可協議進行修訂，“許可”）由您（或您的僱主或其他實體，如果您代表您的僱主或其他實體簽訂本協議）（“被許可方” 或 “您”）與Stability AI Ltd.（“Stability AI” 或 “我們”）簽訂，適用於您使用Stability AI根據本許可提供的任何計算機程序、算法、源代碼、目標代碼、軟件、模型或模型權重（“軟件”）以及Stability AI提供的與軟件相關的任何規格、手冊、文檔和其他書面信息（“文檔”）。通過使用軟件，您同意本許可的條款。如果您不同意本許可，則您無權使用軟件或文檔（統稱 “軟件產品”），並且必須立即停止使用軟件產品。如果您代表您的僱主或其他實體同意受本許可條款的約束，您向Stability AI聲明並保證您擁有充分的法律授權使您的僱主或該實體受本許可的約束。如果您沒有必要的授權，則您不得代表您的僱主或其他實體接受本許可或訪問軟件產品。

1. 許可授予

a. 在您遵守文檔以及第2、3和5節的前提下，Stability AI授予您一項非排他性、全球性、不可轉讓、不可再許可、可撤銷、免版稅且有限的許可，允許您在Stability AI的版權權益下，僅為您的非商業研究目的使用、複製和創作軟件的衍生作品。上述許可僅針對您個人，未經Stability AI事先書面同意，您不得轉讓、再許可、分發、發佈、託管或以其他方式提供本軟件、軟件的衍生作品、與軟件相關的模型或模型權重、本許可或本許可下的任何其他權利或義務；未經Stability AI事先書面同意的任何此類轉讓或再許可均無效，並將自動且立即終止本許可。為明確起見，本許可未授予您將軟件、軟件的衍生作品或相關模型或模型權重的任何許可擴展給非被許可方的權利或能力，本許可也不允許您創建新的被許可方，例如通過提供本許可的副本。如果您需要本許可未授予的權利，您可以通過發送電子郵件至 legal@stability.ai 尋求許可。

b. 您可以僅為與上述授予的軟件許可相關的使用目的，製作合理數量的文檔副本。

c. 本節（許可授予）中明確規定的權利授予是您在軟件產品中的完整權利授予，未授予其他任何許可，無論是通過棄權、禁止反言、暗示、衡平法還是其他方式。Stability AI及其許可方保留本許可未明確授予的所有權利。

2. 限制

您不得，也不得允許、協助或促使任何第三方： a. 全部或部分地使用、修改、複製、再現、創作軟件產品（或其任何衍生作品、包含軟件產品的作品或軟件產生的任何數據）的衍生作品或分發軟件產品，用於 (i) 任何商業或生產目的；(ii) 軍事目的或用於核技術服務；(iii) 監視目的，包括與監視相關的任何研究或開發；(iv) 生物特徵處理；(v) 以任何侵犯、盜用或以其他方式侵犯任何第三方權利的方式；或 (vi) 以任何違反任何適用法律以及違反任何隱私或安全法律、規則、法規、指令或政府要求（包括《通用數據保護條例》（(EU) 2016/679號條例）、《加利福尼亞消費者隱私法》以及所有管理生物特徵信息處理的法律）的方式，以及上述任何法律的所有修訂和後續法律。

b. 更改或刪除軟件產品上或其中出現的版權和其他專有通知。

c. 使用任何設備、軟件或其他手段規避或移除Stability AI與軟件相關使用的任何安全或保護措施，或規避或移除任何使用限制，或啟用Stability AI禁用的功能。

d. 對軟件產品提供或施加任何更改、限制或與本許可條款不一致的條款。

e. 1) 違反任何適用的美國和非美國出口管制和貿易制裁法律（“出口法律”）；2) 直接或間接出口、再出口、提供或以其他方式轉讓軟件產品：(a) 給任何出口法律禁止的個人、實體或國家；(b) 給美國或非美國政府限制方名單上的任何人；或 (c) 用於出口法律禁止的任何目的，包括核武器、化學武器或生物武器或導彈技術應用；3) 如果您或他們：(a) 位於全面制裁的司法管轄區；(b) 目前列在美國或非美國限制方名單上；或 (c) 用於出口法律禁止的任何目的，則不得使用或下載軟件產品；並且 (4) 不得通過IP代理或其他方法偽裝您的位置。

3. 歸屬

與您分發的任何軟件產品副本（以及其衍生作品或包含軟件產品的作品）一起，您必須提供 (i) 本許可的副本，以及 (ii) 以下歸屬聲明：“SDXL 0.9根據SDXL研究許可獲得許可，版權所有 (c) Stability AI Ltd. 保留所有權利。”

4. 免責聲明

軟件產品 “按原樣” 提供，“帶有所有缺陷”，不提供任何形式的明示或暗示保證。Stability AI明確否認所有與軟件產品相關的明示或暗示陳述和保證，無論是根據法規、習慣、慣例還是其他方式，包括但不限於適銷性、特定用途適用性、所有權、令人滿意的質量或不侵權的暗示保證。Stability AI不保證或陳述軟件產品將無錯誤或無病毒或其他有害組件，或產生任何特定結果。

5. 責任限制

在法律允許的最大範圍內，無論基於何種責任理論，無論是基於合同、侵權、疏忽、嚴格責任、保證還是本許可下的其他方式，Stability AI均不對您承擔責任；也不對任何間接、後果性、懲戒性、偶發性、懲罰性或特殊損害或利潤損失承擔責任，即使Stability AI已被告知此類損害的可能性。軟件產品、其組成部分以及任何輸出（統稱 “軟件材料”）並非設計或旨在用於任何軟件材料的故障或缺陷可能合理預期會導致任何人嚴重傷害（包括潛在的歧視或侵犯個人隱私權）或嚴重的人身、財產或環境損害（每一項，“高風險使用”）的應用或情況。如果您選擇將任何軟件材料用於高風險使用，您自行承擔風險。您同意設計並實施適當的決策和風險緩解程序及政策，以應對高風險使用，即使軟件材料出現故障或缺陷，受該活動影響的人員或財產的安全仍能保持在合理、適當和合法的水平，適用於高風險使用領域。

6. 賠償

您將賠償、辯護並使Stability AI及其子公司和關聯公司，以及我們各自的股東、董事、高級管理人員、員工、代理人、繼任者和受讓人（統稱 “Stability AI方”）免受因以下原因引起或與之相關的任何索賠、要求、指控、訴訟、程序或調查（統稱 “索賠”）而產生的任何損失、責任、損害、罰款、處罰和費用（包括合理的律師費）：(a) 您訪問或使用軟件產品（以及此類訪問或使用產生的任何結果或數據），包括任何高風險使用（定義見下文）；(b) 您違反本許可；或 (c) 您侵犯、盜用或侵犯他人的任何權利（包括知識產權或其他專有權利和隱私權）。您將立即通知Stability AI方任何此類索賠，並與Stability AI方合作辯護此類索賠。您還將授予Stability AI方獨家控制權，由Stability AI自行選擇對任何索賠進行辯護或和解。本賠償是對您與Stability AI或其他Stability AI方之間書面協議中規定的任何其他賠償或補救措施的補充，而非替代。

7. 終止；存續

a. 如果您違反本許可的條款，本許可將自動終止。

b. 我們可以隨時通知您（包括電子通知）全部或部分終止本許可。

c. 本許可終止後，以下條款仍然有效：2（限制）、3（歸屬）、4（免責聲明）、5（責任限制）、6（賠償）、7（終止；存續）、8（第三方材料）、9（商標）、10（適用法律；爭議解決）和11（雜項）。

8. 第三方材料

軟件產品可能包含第三方軟件或其他組件（包括免費和開源軟件）（以上所有內容，“第三方材料”），這些材料受各自第三方許可方的許可條款約束。您與第三方的交易或通信以及您對任何第三方材料的使用或互動僅在您與第三方之間進行。Stability AI不控制或認可任何第三方材料，也不就任何第三方材料作出任何陳述或保證，您訪問和使用此類第三方材料自行承擔風險。

9. 商標

作為本許可的一部分，未授予被許可方任何商標許可，未經Stability AI事先書面許可，被許可方不得使用與Stability AI相關的任何名稱或標誌，但為履行本協議 “歸屬” 部分要求的引用所需的範圍除外。

10. 適用法律；爭議解決

本許可將受加利福尼亞州法律管轄並依其解釋，不考慮法律衝突條款。因本許可引起或與之相關的任何訴訟或程序將在加利福尼亞州聖馬特奧縣的聯邦或州法院提起，各方不可撤銷地接受此類法院的管轄權和審判地。

11. 雜項

如果本許可的任何條款或部分條款違法、無效或不可執行，則該條款或部分條款應視為從本許可中分割出來，不影響任何其餘條款的有效性和可執行性。Stability AI未能行使或執行本許可的任何權利或條款，不構成對該權利或條款的放棄。本許可未賦予任何第三方受益人的權利。本許可連同文檔包含了您與Stability AI就本許可主題事項達成的全部理解，並取代了您與Stability AI就該主題事項達成的所有其他書面或口頭協議和理解。對本許可任何條款的任何變更或補充，除非以書面形式並由您和Stability AI的授權代表簽署，否則不具有約束力。

申請訪問

如果你想申請訪問該模型，請提交以下信息：

信息	類型
組織	文本
研究性質	文本
個人研究人員鏈接（簡歷、網站、GitHub）	文本
其他評論	文本
我接受上述許可協議，並將僅將軟件用於非商業研究目的	複選框

點擊 “提交申請” 按鈕提交申請。