Dalle Mini

🚀 DALL·E mini - 從文本生成圖像

DALL·E mini是一個能夠根據文本描述生成任意圖像的模型，它嘗試復現OpenAI的DALL·E，雖然生成結果質量低於原版，但能在要求較低的硬件上進行訓練和使用。

• 技術報告
• 演示

✨ 主要特性

• 能夠根據文本描述生成任意圖像。
• 架構簡化，可在要求較低的硬件上訓練和使用。
• 依賴Flax/JAX基礎設施，在TPU和GPU上均能高效運行。

📚 詳細文檔

模型描述

這是一次嘗試復現OpenAI的 DALL·E 的實踐，該模型能夠根據描述期望結果的文本提示生成任意圖像。

此模型的架構是對原始模型的簡化，它借鑑了先前的開源成果和可用的預訓練模型。生成結果的質量低於OpenAI的模型，但該模型可以在要求較低的硬件上進行訓練和使用。我們在單個TPU v3 - 8上進行了幾天的訓練。

架構組件

該系統依賴於Flax/JAX基礎設施，這對於TPU訓練來說是理想的選擇。不過TPU並非必需，Flax和JAX在GPU後端上也能非常高效地運行。

架構的主要組件包括：

• 編碼器：基於 BART。編碼器將輸入的文本令牌序列轉換為圖像令牌序列。輸入令牌是通過使用模型的分詞器從文本提示中提取的。圖像令牌是一個固定長度的序列，它們代表基於VQGAN的預訓練碼本中的索引。
• 解碼器：將圖像令牌轉換為圖像像素。如前所述，解碼器基於 VQGAN模型。

我們用於編碼器的模型定義可以從我們的 Github倉庫 下載。編碼器由 CustomFlaxBartForConditionalGeneration 類表示。

要使用解碼器，你需要遵循我們在模型中心的配套VQGAN模型 flax-community/vqgan_f16_16384 中的說明。

如何使用

熟悉代碼和模型的最簡單方法是遵循我們在 github倉庫 中提供的推理筆記本。為了方便起見，你可以在Google Colaboratory中打開它：

如果你只是想測試訓練好的模型並看看它能生成什麼，請訪問 我們的演示，它可在 🤗 Spaces 中使用。

額外細節

我們的 報告 包含了更多關於該模型如何訓練的細節，並展示了許多證明其能力的示例。