Blip Dalle3 Img2prompt

🚀 DALL·E 3圖像提示逆向工程

本項目是一個圖像描述預訓練模型BLIP，在laion/dalle-3-dataset和從DALL·E 3半自動收集的(圖像, 提示)數據的混合數據集上進行了微調。該模型以生成的圖像作為輸入，輸出可能用於生成該圖像的提示，這些提示可作為生成相似圖像的基礎。

⚠️ 重要提示

由於該模型的訓練數據包含DALL·E 3生成的圖像，因此本模型不用於商業用途，僅作教育目的使用。

🚀 快速開始

本模型是基於預訓練的圖像描述模型BLIP，在laion/dalle-3-dataset和從DALL·E 3半自動收集的(圖像, 提示)數據的混合數據集上進行微調得到的。它接收一張生成的圖像作為輸入，並輸出一個可能用於生成該圖像的提示，這個提示可以作為生成相似圖像的基礎。

✨ 主要特性

• 以生成的圖像為輸入，輸出可能的圖像生成提示。
• 可作為生成相似圖像的基礎。

📦 安裝指南

無具體安裝命令，跳過該章節。

💻 使用示例

基礎用法

from transformers import BlipForConditionalGeneration, AutoProcessor

model = BlipForConditionalGeneration.from_pretrained("dblasko/blip-dalle3-img2prompt").to(device)
processor = AutoProcessor.from_pretrained("dblasko/blip-dalle3-img2prompt")

高級用法

from datasets import load_dataset

dataset = load_dataset("laion/dalle-3-dataset", split=f'train[0%:1%]') # for fast download time in the toy example
example = dataset[img_index][0]
image = example["image"]
caption = example["caption"]

inputs = processor(images=image, return_tensors="pt").to(device)
pixel_values = inputs.pixel_values

generated_ids = model.generate(pixel_values=pixel_values, max_length=50)
generated_caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(f"Generated caption: {generated_caption}\nReal caption: {caption}")

📚 詳細文檔

🔧 技術細節

無具體技術說明，跳過該章節。

📄 許可證

無許可證信息，跳過該章節。