Dalle Mini

🚀 DALL·E mini - 从文本生成图像

DALL·E mini是一个能够根据文本描述生成任意图像的模型，它尝试复现OpenAI的DALL·E，虽然生成结果质量低于原版，但能在要求较低的硬件上进行训练和使用。

• 技术报告
• 演示

✨ 主要特性

• 能够根据文本描述生成任意图像。
• 架构简化，可在要求较低的硬件上训练和使用。
• 依赖Flax/JAX基础设施，在TPU和GPU上均能高效运行。

📚 详细文档

模型描述

这是一次尝试复现OpenAI的 DALL·E 的实践，该模型能够根据描述期望结果的文本提示生成任意图像。

此模型的架构是对原始模型的简化，它借鉴了先前的开源成果和可用的预训练模型。生成结果的质量低于OpenAI的模型，但该模型可以在要求较低的硬件上进行训练和使用。我们在单个TPU v3 - 8上进行了几天的训练。

架构组件

该系统依赖于Flax/JAX基础设施，这对于TPU训练来说是理想的选择。不过TPU并非必需，Flax和JAX在GPU后端上也能非常高效地运行。

架构的主要组件包括：

• 编码器：基于 BART。编码器将输入的文本令牌序列转换为图像令牌序列。输入令牌是通过使用模型的分词器从文本提示中提取的。图像令牌是一个固定长度的序列，它们代表基于VQGAN的预训练码本中的索引。
• 解码器：将图像令牌转换为图像像素。如前所述，解码器基于 VQGAN模型。

我们用于编码器的模型定义可以从我们的 Github仓库 下载。编码器由 CustomFlaxBartForConditionalGeneration 类表示。

要使用解码器，你需要遵循我们在模型中心的配套VQGAN模型 flax-community/vqgan_f16_16384 中的说明。

如何使用

熟悉代码和模型的最简单方法是遵循我们在 github仓库 中提供的推理笔记本。为了方便起见，你可以在Google Colaboratory中打开它：

如果你只是想测试训练好的模型并看看它能生成什么，请访问 我们的演示，它可在 🤗 Spaces 中使用。

额外细节

我们的 报告 包含了更多关于该模型如何训练的细节，并展示了许多证明其能力的示例。