Dalle Mini

🚀 DALL·E mini - 从文本生成图像

DALL·E mini是一个能够根据文本描述生成任意图像的模型，它尝试复刻OpenAI的DALL·E模型，虽生成结果质量略逊一筹，但对硬件要求更低，训练和使用更加便捷。

• 技术报告
• 演示

✨ 主要特性

• 能够根据文本描述生成任意图像。
• 架构简化，对硬件要求较低，可在普通硬件上训练和使用。
• 基于Flax/JAX基础设施，支持TPU和GPU训练。

📚 详细文档

模型描述

这是一次复刻OpenAI的DALL·E的尝试，DALL·E是一个能够根据描述期望结果的文本提示生成任意图像的模型。

该模型的架构是对原始模型的简化，并借鉴了之前的开源成果和可用的预训练模型。生成结果的质量低于OpenAI的模型，但该模型可以在要求较低的硬件上进行训练和使用。我们的训练是在单个TPU v3 - 8上进行了几天。

架构组件

该系统依赖于Flax/JAX基础设施，这对于TPU训练非常理想。不过TPU不是必需的，Flax和JAX在GPU后端上也能高效运行。

架构的主要组件包括：

• 编码器：基于BART。编码器将输入文本标记序列转换为图像标记序列。输入标记是通过使用模型的分词器从文本提示中提取的。图像标记是一个固定长度的序列，它们代表基于VQGAN的预训练码本中的索引。
• 解码器：将图像标记转换为图像像素。如前所述，解码器基于VQGAN模型。

我们用于编码器的模型定义可以从我们的Github仓库下载。编码器由类CustomFlaxBartForConditionalGeneration表示。

要使用解码器，你需要遵循我们在模型中心的配套VQGAN模型flax-community/vqgan_f16_16384中的说明。

💻 使用示例

基础用法

熟悉代码和模型的最简单方法是按照我们在github仓库中提供的推理笔记本进行操作。为了方便起见，你可以在Google Colaboratory中打开它：

高级用法

如果你只是想测试训练好的模型并看看它能生成什么，请访问我们在🤗 Spaces上的演示。

🔧 技术细节

我们的报告包含了更多关于模型如何训练的细节，并展示了许多展示其能力的示例。