Dalle Mini

🚀 DALL·E mini - 從文本生成圖像

DALL·E mini是一個能夠根據文本描述生成任意圖像的模型，它嘗試復刻OpenAI的DALL·E模型，雖生成結果質量略遜一籌，但對硬件要求更低，訓練和使用更加便捷。

• 技術報告
• 演示

✨ 主要特性

• 能夠根據文本描述生成任意圖像。
• 架構簡化，對硬件要求較低，可在普通硬件上訓練和使用。
• 基於Flax/JAX基礎設施，支持TPU和GPU訓練。

📚 詳細文檔

模型描述

這是一次復刻OpenAI的DALL·E的嘗試，DALL·E是一個能夠根據描述期望結果的文本提示生成任意圖像的模型。

該模型的架構是對原始模型的簡化，並借鑑了之前的開源成果和可用的預訓練模型。生成結果的質量低於OpenAI的模型，但該模型可以在要求較低的硬件上進行訓練和使用。我們的訓練是在單個TPU v3 - 8上進行了幾天。

架構組件

該系統依賴於Flax/JAX基礎設施，這對於TPU訓練非常理想。不過TPU不是必需的，Flax和JAX在GPU後端上也能高效運行。

架構的主要組件包括：

• 編碼器：基於BART。編碼器將輸入文本標記序列轉換為圖像標記序列。輸入標記是通過使用模型的分詞器從文本提示中提取的。圖像標記是一個固定長度的序列，它們代表基於VQGAN的預訓練碼本中的索引。
• 解碼器：將圖像標記轉換為圖像像素。如前所述，解碼器基於VQGAN模型。

我們用於編碼器的模型定義可以從我們的Github倉庫下載。編碼器由類CustomFlaxBartForConditionalGeneration表示。

要使用解碼器，你需要遵循我們在模型中心的配套VQGAN模型flax-community/vqgan_f16_16384中的說明。

💻 使用示例

基礎用法

熟悉代碼和模型的最簡單方法是按照我們在github倉庫中提供的推理筆記本進行操作。為了方便起見，你可以在Google Colaboratory中打開它：

高級用法

如果你只是想測試訓練好的模型並看看它能生成什麼，請訪問我們在🤗 Spaces上的演示。

🔧 技術細節

我們的報告包含了更多關於模型如何訓練的細節，並展示了許多展示其能力的示例。