Stable Diffusion Xl Base 0.9

🚀 SD-XL 0.9-base模型卡片

SD-XL 0.9-base是一款基於擴散的文本到圖像生成模型，可根據文本提示生成和修改圖像。它採用兩步潛在擴散管道，在圖像生成研究領域具有重要價值。

🚀 快速開始

安裝依賴

確保將diffusers升級到 >= 0.18.0 版本：

pip install diffusers --upgrade

此外，還需安裝transformers、safetensors、accelerate以及invisible_watermark：

pip install invisible_watermark transformers accelerate safetensors

使用示例

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-0.9", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# 如果使用 torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

prompt = "An astronaut riding a green horse"

images = pipe(prompt=prompt).images[0]

高級用法

當使用torch >= 2.0時，可通過torch.compile將推理速度提高 20 - 30%。在運行管道之前，用torch.compile包裝unet：

pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

如果受 GPU VRAM 限制，可調用pipe.enable_model_cpu_offload來啟用CPU 卸載，而不是使用.to("cuda")：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

✨ 主要特性

• 兩步潛在擴散管道：先使用基礎模型生成所需輸出大小的潛在變量，再使用專門的高分辨率模型和 SDEdit 技術對這些潛在變量進行處理。
• 多文本編碼器：使用兩個固定的預訓練文本編碼器（OpenCLIP-ViT/G 和 CLIP-ViT/L）。

📦 安裝指南

依賴安裝

• 升級diffusers到 >= 0.18.0 版本：

pip install diffusers --upgrade

• 安裝其他依賴：

pip install invisible_watermark transformers accelerate safetensors

📚 詳細文檔

模型描述

模型來源

• 倉庫：https://github.com/Stability-AI/generative-models
• 演示（可選）：https://clipdrop.co/stable-diffusion

使用場景

直接使用

該模型僅用於研究目的，可能的研究領域和任務包括：

• 藝術品生成，以及在設計和其他藝術過程中的應用。
• 教育或創意工具中的應用。
• 生成模型的研究。
• 對有潛在生成有害內容能力的模型進行安全部署。
• 探索和理解生成模型的侷限性和偏差。

超出適用範圍的使用

該模型並非用於生成對人物或事件的真實或準確表述，因此使用該模型生成此類內容超出了其能力範圍。

侷限性和偏差

侷限性

• 模型無法實現完美的照片級真實感。
• 模型無法渲染清晰可讀的文本。
• 模型在處理涉及組合性的更復雜任務時存在困難，例如渲染與 “A red cube on top of a blue sphere” 對應的圖像。
• 面部和人物的生成可能不夠理想。
• 模型的自動編碼部分存在信息損失。

偏差

雖然圖像生成模型的能力令人印象深刻，但它們也可能強化或加劇社會偏差。

評估

上圖評估了用戶對 SDXL（有和沒有細化）相對於 Stable Diffusion 1.5 和 2.1 的偏好。SDXL 基礎模型的性能明顯優於之前的版本，結合細化模塊的模型整體性能最佳。

📄 許可證

SDXL 0.9 研究許可證協議

版權所有 (c) Stability AI Ltd.

本許可協議（可根據本許可協議進行修訂，“許可協議”）由您（或您的僱主或其他實體，如果您代表您的僱主或其他實體簽訂本協議）（“被許可方” 或 “您”）與 Stability AI Ltd.（“Stability AI” 或 “我們”）簽訂，適用於您使用 Stability AI 根據本許可協議提供的任何計算機程序、算法、源代碼、目標代碼、軟件、模型或模型權重（“軟件”）以及 Stability AI 提供的與軟件相關的任何規格、手冊、文檔和其他書面信息（“文檔”）。通過使用軟件，您同意本許可協議的條款。如果您不同意本許可協議，則您無權使用軟件或文檔（統稱 “軟件產品”），並且必須立即停止使用軟件產品。如果您代表您的僱主或其他實體同意受本許可協議條款的約束，您向 Stability AI 聲明並保證您擁有充分的法律授權使您的僱主或該實體受本許可協議的約束。如果您沒有必要的授權，則您不得代表您的僱主或其他實體接受本許可協議或訪問軟件產品。

1. 許可授予

• a. 軟件使用許可：在您遵守文檔以及第 2、3 和 5 節的前提下，Stability AI 授予您一項非排他性、全球性、不可轉讓、不可再許可、可撤銷、免版稅且有限的許可，允許您在 Stability AI 的版權權益下，僅為您的非商業研究目的使用、複製軟件並創作軟件的衍生作品。上述許可僅針對您個人，未經 Stability AI 的事先書面同意，您不得轉讓、再許可、分發、發佈、託管或以其他方式提供本軟件、軟件的衍生作品、與軟件相關的模型或模型權重、本許可協議或本許可協議下的任何其他權利或義務；未經 Stability AI 的事先書面同意進行的任何此類轉讓或再許可均無效，並將自動且立即終止本許可協議。為明確起見，本許可協議未授予您將軟件、軟件的衍生作品或相關模型或模型權重的任何許可擴展給非被許可方的權利，也不允許您創建新的被許可方，例如通過提供本許可協議的副本。如果您需要本許可協議未授予的權利，您可以通過發送電子郵件至 legal@stability.ai 尋求許可。
• b. 文檔複製許可：您可以僅為與上述授予的軟件許可相關的目的，合理數量地複製文檔。
• c. 完整許可聲明：本節（許可授予）中明確規定的權利授予是您在軟件產品方面獲得的完整權利授予，未通過棄權、禁止反言、暗示、衡平法或其他方式授予其他許可。Stability AI 及其許可方保留本許可協議未明確授予的所有權利。

2. 限制

您不得，也不得允許、協助或促使任何第三方：

• a. 違規使用限制：以任何方式（全部或部分）使用、修改、複製、再現、創作衍生作品或分發軟件產品（或其任何衍生作品、包含軟件產品的作品或軟件產生的任何數據），用於 (i) 任何商業或生產目的；(ii) 軍事目的或用於核技術服務；(iii) 監視目的，包括與監視相關的任何研究或開發；(iv) 生物特徵處理；(v) 以任何侵犯、挪用或以其他方式侵犯任何第三方權利的方式；或 (vi) 以任何違反任何適用法律以及違反任何隱私或安全法律、規則、法規、指令或政府要求（包括《通用數據保護條例》（(EU) 2016/679 號條例）、《加利福尼亞消費者隱私法案》以及所有管轄生物特徵信息處理的法律）的方式，以及上述任何法律的所有修訂和後續法律。
• b. 版權信息保留：更改或刪除軟件產品上或其中出現的版權和其他專有通知。
• c. 規避安全措施：使用任何設備、軟件或其他手段規避或移除 Stability AI 與軟件相關使用的任何安全或保護措施，或規避或移除任何使用限制，或啟用 Stability AI 禁用的功能。
• d. 擅自修改協議：對軟件產品提出或施加任何更改、限制或與本許可協議條款不一致的條款。
• e. 出口合規要求：
  1. 違反任何適用的美國和非美國出口管制和貿易制裁法律（“出口法律”）；
  2. 直接或間接出口、再出口、提供或以其他方式轉讓軟件產品：(a) 給任何出口法律禁止的個人、實體或國家；(b) 給美國或非美國政府限制方名單上的任何人；或 (c) 用於出口法律禁止的任何目的，包括核武器、化學或生物武器或導彈技術應用；
  3. 如果您或他們位於全面制裁的司法管轄區、目前列於任何美國或非美國限制方名單上，或用於出口法律禁止的任何目的，則不得使用或下載軟件產品；
  4. 不得通過 IP 代理或其他方法偽裝您的位置。

3. 歸屬要求

在分發軟件產品的任何副本（以及其衍生作品或包含軟件產品的作品）時，您必須提供 (i) 本許可協議的副本，以及 (ii) 以下歸屬聲明：“SDXL 0.9 已根據 SDXL 研究許可協議獲得許可，版權所有 (c) Stability AI Ltd. 保留所有權利。”

4. 免責聲明

軟件產品 “按原樣” 提供，帶有所有缺陷，不提供任何形式的明示或暗示保證。Stability AI 明確否認所有關於軟件產品的明示或暗示陳述和保證，無論是依據法規、慣例、使用方式還是其他方式，包括但不限於適銷性、特定用途適用性、所有權、令人滿意的質量或不侵權的暗示保證。Stability AI 不保證軟件產品將無錯誤、無病毒或其他有害組件，也不保證會產生任何特定結果。

5. 責任限制

在法律允許的最大範圍內，無論基於何種責任理論，無論是基於合同、侵權、疏忽、嚴格責任、保證或本許可協議下的其他方式，Stability AI 均不對您承擔任何責任；也不對任何間接、後果性、懲戒性、偶發性、懲罰性或特殊損害或利潤損失承擔責任，即使 Stability AI 已被告知此類損害的可能性。軟件產品、其組成部分和任何輸出（統稱 “軟件材料”）並非設計或旨在用於任何軟件材料的故障或缺陷可能合理預期會導致任何人受到嚴重傷害（包括潛在的歧視或侵犯個人隱私權）或造成嚴重人身、財產或環境損害的應用或情況（每一種情況均為 “高風險使用”）。如果您選擇將任何軟件材料用於高風險使用，您需自行承擔風險。您同意設計並實施與高風險使用相關的適當決策和風險緩解程序及政策，以便即使軟件材料出現故障或缺陷，受該活動影響的人員或財產的安全仍能保持在高風險使用領域合理、適當和合法的水平。

6. 賠償責任

您將賠償、辯護並使 Stability AI 及其子公司和關聯公司，以及我們各自的股東、董事、高級管理人員、員工、代理人、繼任者和受讓人（統稱 “Stability AI 各方”）免受因以下原因引起的或與之相關的任何索賠、要求、指控、訴訟、程序或調查（統稱 “索賠”）所產生的任何損失、責任、損害、罰款、處罰和費用（包括合理的律師費）：(a) 您訪問或使用軟件產品（以及此類訪問或使用產生的任何結果或數據），包括任何高風險使用（定義如下）；(b) 您違反本許可協議；或 (c) 您侵犯、挪用或侵犯他人的任何權利（包括知識產權或其他專有權利和隱私權）。您將及時通知 Stability AI 各方任何此類索賠，並與 Stability AI 各方合作辯護此類索賠。您還將授予 Stability AI 各方在 Stability AI 自行選擇的情況下，對任何索賠的辯護或和解的獨家控制權。本賠償責任是對您與 Stability AI 或其他 Stability AI 各方之間書面協議中規定的任何其他賠償或補救措施的補充，而非替代。

7. 終止與存續

• a. 自動終止情形：如果您違反本許可協議的任何條款，本許可協議將自動終止。
• b. 主動終止權利：我們可隨時（包括通過電子方式）通知您，全部或部分終止本許可協議。
• c. 存續條款說明：本許可協議終止後，以下條款仍然有效：第 2 條（限制）、第 3 條（歸屬）、第 4 條（免責聲明）、第 5 條（責任限制）、第 6 條（賠償責任）、第 7 條（終止；存續）、第 8 條（第三方材料）、第 9 條（商標）、第 10 條（適用法律；爭議解決）和第 11 條（雜項）。

8. 第三方材料

軟件產品可能包含第三方軟件或其他組件（包括免費和開源軟件）（以上所有內容統稱 “第三方材料”），這些材料受各自第三方許可方的許可條款約束。您與第三方的交易或通信以及您對任何第三方材料的使用或交互完全是您與第三方之間的事情。Stability AI 不控制或認可任何第三方材料，也不對其作出任何陳述或保證，您訪問和使用此類第三方材料需自行承擔風險。

9. 商標使用

作為本許可協議的一部分，未授予您任何商標許可，未經 Stability AI 的事先書面許可，您不得使用與 Stability AI 相關的任何名稱或標識，但為履行本協議 “歸屬” 部分要求的引用所需的範圍除外。

10. 適用法律與爭議解決

本許可協議受加利福尼亞州法律管轄並依其解釋，不考慮法律衝突條款。因本許可協議引起的或與之相關的任何訴訟或程序將在加利福尼亞州聖馬特奧縣的聯邦或州法院提起，各方不可撤銷地服從此類法院的管轄權和審判地。

11. 雜項

如果本許可協議的任何條款或部分條款違法、無效或不可執行，則該條款或部分條款應視為從本許可協議中分離，不影響任何其餘條款的有效性和可執行性。Stability AI 未能行使或執行本許可協議的任何權利或條款，不構成對該權利或條款的放棄。本許可協議未賦予任何第三方受益人的權利。本許可協議連同文檔包含了您與 Stability AI 就本許可協議主題事項達成的全部理解，並取代了您與 Stability AI 就該主題事項達成的所有其他書面或口頭協議和理解。對本許可協議任何條款的變更或補充，除非以書面形式並由您和 Stability AI 的授權代表簽字，否則不具有約束力。