Florence 2 Base PromptGen

🚀 Florence-2-base-PromptGen

Florence-2-base-PromptGen是为MiaoshouAI Tagger for ComfyUI训练的模型。它是一款基于微软Florence-2模型的先进图像描述工具，并经过了精细微调。

🚀 快速开始

Florence-2-base-PromptGen是一个专为图像提示和标签任务优化的模型，基于微软Florence-2模型微调而来。它能有效提升图像标签的准确性和体验，适用于模型训练中的相关工作。

✨ 主要特性

针对性训练

当前大多数视觉模型主要为通用视觉识别目的而训练，但在为模型训练进行提示和图像标签时，描述的格式和细节有很大不同。Florence-2-base-PromptGen正是针对这一目的进行训练，旨在改善提示和标签工作的体验与准确性。该模型基于Civitai的图像和清理后的标签进行训练，使得图像标签的最终结果就是用于生成这些图像的提示。

新增指令提示

除了<DETAILED_CAPTION>和<MORE_DETAILED_CAPTION>，还为该模型创建了一个新的指令提示<GENERATE_PROMPT>。它将以danbooru标签风格做出响应，具有更高的准确性和适当的细节水平。

版本更新

• v0.8：为<GENERATE_PROMPT>进行了新的指令训练。
• v0.9：提高了<DETAILED_CAPTION>和<MORE_DETAILED_CAPTION>在未审查数据上的视觉能力。

📦 安装指南

本模型可直接从Hugging Face模型中心加载。

💻 使用示例

基础用法

model = AutoModelForCausalLM.from_pretrained("MiaoshouAI/Florence-2-base-PromptGen", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("MiaoshouAI/Florence-2-base-PromptGen", trust_remote_code=True)

prompt = "<GENERATE_PROMPT>"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=prompt, images=image, return_tensors="pt").to(device)

generated_ids = model.generate(
    input_ids=inputs["input_ids"],
    pixel_values=inputs["pixel_values"],
    max_new_tokens=1024,
    do_sample=False,
    num_beams=3
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]

parsed_answer = processor.post_process_generation(generated_text, task=prompt, image_size=(image.width, image.height))

print(parsed_answer)

在MiaoshouAI Tagger ComfyUI中使用

如果你只想使用该模型，可以在MiaoshouAI Tagger for ComfyUI中使用，其中已有详细的使用和安装说明。

📄 许可证

本项目采用MIT许可证。