Kolors

🚀 Kolors：用於逼真文本到圖像合成的擴散模型有效訓練

Kolors是由快手Kolors團隊開發的基於潛在擴散的大規模文本到圖像生成模型。它在數十億文本 - 圖像對上進行訓練，在視覺質量、複雜語義準確性以及中英文文本渲染方面，相較於開源和專有模型都展現出顯著優勢。此外，Kolors支持中英文輸入，在理解和生成中文特定內容方面表現出色。

🚀 快速開始

要求

• Python 3.8 或更高版本
• PyTorch 1.13.1 或更高版本
• Transformers 4.26.1 或更高版本
• 推薦：CUDA 11.7 或更高版本

步驟

1. 克隆倉庫並安裝依賴

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

2. 下載權重（鏈接）

huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

或者

git lfs clone https://huggingface.co/Kwai-Kolors/Kolors weights/Kolors

3. 推理

python3 scripts/sample.py "一張瓢蟲的照片，微距，變焦，高質量，電影，拿著一個牌子，寫著“可圖”"
# 圖像將保存到 "scripts/outputs/sample_test.jpg"

使用Diffusers

請參考 https://huggingface.co/Kwai-Kolors/Kolors-diffusers。

📄 許可證與引用

許可證

Kolors完全開源用於學術研究。如需商業使用，請填寫此問卷併發送至 kwai-kolors@kuaishou.com 進行註冊。

我們開源Kolors是為了與開源社區合作推動大型文本到圖像模型的發展。本項目的代碼在Apache - 2.0許可證下開源。我們真誠地敦促所有開發者和用戶嚴格遵守開源許可證，避免將開源模型、代碼及其衍生產品用於任何可能危害國家和社會的目的，或用於任何未經安全評估和註冊的服務。請注意，儘管我們在訓練過程中盡力確保數據的合規性、準確性和安全性，但由於生成內容的多樣性和可組合性以及影響模型的概率隨機性，我們無法保證輸出內容的準確性和安全性，並且模型容易受到誤導。本項目不對因使用開源模型和代碼而導致的任何數據安全問題、輿論風險，或因模型被誤導、濫用、誤用或不當利用而產生的風險和責任承擔任何法律責任。

引用

如果您覺得我們的工作有幫助，請引用：

@article{kolors,
  title={Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis},
  author={Kolors Team},
  journal={arXiv preprint},
  year={2024}
}

致謝

• 感謝 Diffusers 提供代碼庫。
• 感謝 ChatGLM3 提供強大的中文語言模型。

聯繫我們

如果您想給我們的研發團隊和產品團隊留言，請隨時加入我們的微信群。您也可以通過電子郵件（kwai - kolors@kuaishou.com）聯繫我們。