Florence-2-large開源視覺模型 - 免費部署統一處理視覺與視覺語言任務

首頁

Florence 2 Large Ft Safetensors

由mrhendrey開發

Florence-2是微軟開發的先進視覺基礎模型，採用基於提示的架構統一處理各類視覺與視覺-語言任務

圖像生成文本

Safetensors

開源協議:MIT #多任務視覺理解 #零樣本學習 #高精度檢測

下載量 162

發布時間 : 10/8/2024

模型概述

該模型通過序列到序列架構實現多任務處理能力，支持圖像描述、目標檢測、分割等任務，基於FLD-5B大規模數據集訓練

模型特點

統一視覺任務處理

通過簡單文本提示即可完成多種視覺任務，無需特定任務模型

大規模預訓練

基於包含126萬張圖像和54億標註的FLD-5B數據集訓練

零樣本遷移能力

在未見過的評測任務上展現優異性能

模型能力

圖像描述生成

目標檢測

圖像分割

文字識別

視覺問答

指代理解

區域描述生成

使用案例

計算機視覺

智能圖像分析

自動生成圖像描述和檢測圖像中的對象

COCO檢測驗證mAP達37.5

文檔處理

識別圖像中的文字及其位置

支持帶區域的文字識別

人機交互

視覺問答系統

回答關於圖像內容的自然語言問題

VQAv2準確率達81.7

🚀 Florence-2：推進多種視覺任務的統一表示

Florence-2是一個先進的視覺基礎模型，採用基於提示的方法來處理廣泛的視覺和視覺語言任務。它能夠解釋簡單的文本提示，執行諸如圖像描述、目標檢測和分割等任務。該模型利用包含54億個註釋的FLD - 5B數據集進行多任務學習，其序列到序列的架構使其在零樣本和微調設置中都表現出色。

🚀 快速開始

使用以下代碼開始使用該模型。所有模型均使用float16進行訓練。

基礎用法

import requests

from PIL import Image
import torch
from transformers import AutoProcessor, AutoModelForCausalLM 

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model = AutoModelForCausalLM.from_pretrained(
  "mrhendrey/Florence-2-large-ft-safetensors",
  torch_dtype=torch_dtype,
  trust_remote_code=True,
  use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(
  "mrhendrey/Florence-2-large-ft-safetensors", trust_remote_code=True
)

prompt = "<OD>"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(
  text=prompt, images=image, return_tensors="pt"
).to(device, torch_dtype)

generated_ids = model.generate(
    input_ids=inputs["input_ids"],
    pixel_values=inputs["pixel_values"],
    max_new_tokens=1024,
    do_sample=False,
    num_beams=3
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]

parsed_answer = processor.post_process_generation(
  generated_text, task="<OD>", image_size=(image.width, image.height)
)

print(parsed_answer)

高級用法（利用批處理）

import requests

from PIL import Image
import torch
from transformers import AutoProcessor, AutoModelForCausalLM 

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model = AutoModelForCausalLM.from_pretrained(
  "mrhendrey/Florence-2-large-ft-safetensors",
  torch_dtype=torch_dtype,
  trust_remote_code=True,
  use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(
  "mrhendrey/Florence-2-large-ft-safetensors", trust_remote_code=True
)

prompts = ["<OD>", "<CAPTION>"]

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(
  text=prompts, images=[image]*2, return_tensors="pt", padding=True
).to(device, torch_dtype)

generated_ids = model.generate(
    input_ids=inputs["input_ids"],
    pixel_values=inputs["pixel_values"],
    attention_mask=inputs["attention_mask"],
    max_new_tokens=1024,
    do_sample=False,
    num_beams=3
)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=False)

parsed_answers = [
  processor.post_process_generation(
    gen_text, task=prompt, image_size=(image.width, image.height)
  ) for gen_text, prompt in zip(generated_texts, prompts)
]

print(parsed_answers[0])
print(parsed_answers[1])

✨ 主要特性

對原模型的修改

這是Florence - 2 - large - ft的修改版本。原始模型在使用Huggingface Space Safetensors/convert轉換為safetensors時失敗，原因是一些數據指針不一致。convert_to_safetensors.py腳本進行了最小化的修改以實現轉換為safetensors。它會檢查生成的張量是否相等，並針對下面列出的單張圖像進行驗證，以確保.bin和.safetensors提供相同的輸出。

僅修改了modeling_florence2.py文件：

添加了缺失的Florence2LanguageForConditionalGeneration._tie_weights()方法。
將GenerationMixin作為Florence2LanguageForConditionalGeneration和Florence2ForConditionalGeneration的父類，以避免從v4.50起PreTrainedModel將不再繼承GenerationMixin的棄用警告。
為generate()函數添加了@torch.no_grad()裝飾器，以遵循標準的transformers使用方式，關閉梯度累積。否則，每次批量大小增加1時，VRAM使用量會顯著增加。
根據pawlowskipawel的PR修復了批量注意力掩碼問題。
根據棄用警告更改了timm的導入方式。

模型概述

此Hub倉庫包含了微軟Florence - 2模型的HuggingFace transformers實現。

Florence - 2是一個先進的視覺基礎模型，它使用基於提示的方法來處理廣泛的視覺和視覺語言任務。它可以解釋簡單的文本提示，執行如圖像描述、目標檢測和分割等任務。該模型利用包含54億個註釋的FLD - 5B數據集進行多任務學習，其序列到序列的架構使其在零樣本和微調設置中都表現出色，是一個極具競爭力的視覺基礎模型。

資源和技術文檔：

模型信息

屬性	詳情
模型類型	此Hub倉庫包含微軟Florence - 2模型的HuggingFace `transformers`實現
訓練數據	利用包含54億個註釋的FLD - 5B數據集進行多任務學習

支持的任務

此模型能夠通過更改提示來執行不同的任務。

首先，定義一個運行提示的函數：

點擊展開

import requests

from PIL import Image
import torch
from transformers import AutoProcessor, AutoModelForCausalLM 

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model = AutoModelForCausalLM.from_pretrained(
  "mrhendrey/Florence-2-large-ft-safetensors",
  torch_dtype=torch_dtype,
  trust_remote_code=True,
  use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(
  "mrhendrey/Florence-2-large-ft-safetensors", trust_remote_code=True
)

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

def run_example(task_prompt, text_input=None):
    if text_input is None:
        prompt = task_prompt
    else:
        prompt = task_prompt + text_input
    inputs = processor(
      text=prompt, images=image, return_tensors="pt"
    ).to(device, torch_dtype)
    generated_ids = model.generate(
      input_ids=inputs["input_ids"],
      pixel_values=inputs["pixel_values"],
      max_new_tokens=1024,
      num_beams=3
    )
    generated_text = processor.batch_decode(
      generated_ids, skip_special_tokens=False
    )[0]

    parsed_answer = processor.post_process_generation(
      generated_text, task=task_prompt, image_size=(image.width, image.height)
    )

    print(parsed_answer)

以下是Florence - 2可以執行的任務：

點擊展開

圖像描述

prompt = "<CAPTION>"
run_example(prompt)

詳細圖像描述

prompt = "<DETAILED_CAPTION>"
run_example(prompt)

更詳細的圖像描述

prompt = "<MORE_DETAILED_CAPTION>"
run_example(prompt)

圖像描述到短語定位

圖像描述到短語定位任務需要額外的文本輸入，即圖像描述。

圖像描述到短語定位結果格式： {'<CAPTION_TO_PHRASE_GROUNDING>': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['', '', ...]}}

task_prompt = "<CAPTION_TO_PHRASE_GROUNDING>"
results = run_example(
  task_prompt, text_input="A green car parked in front of a yellow building."
)

目標檢測

OD結果格式： {'': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['label1', 'label2', ...]} }

prompt = "<OD>"
run_example(prompt)

密集區域描述

密集區域描述結果格式： {'<DENSE_REGION_CAPTION>' : {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['label1', 'label2', ...]} }

prompt = "<DENSE_REGION_CAPTION>"
run_example(prompt)

區域提議

密集區域描述結果格式： {'<REGION_PROPOSAL>': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['', '', ...]}}

prompt = "<REGION_PROPOSAL>"
run_example(prompt)

OCR

prompt = "<OCR>"
run_example(prompt)

帶區域的OCR

帶區域的OCR輸出格式： {'<OCR_WITH_REGION>': {'quad_boxes': [[x1, y1, x2, y2, x3, y3, x4, y4], ...], 'labels': ['text1', ...]}}

prompt = "<OCR_WITH_REGION>"
run_example(prompt)

更多詳細示例，請參考notebook

📚 詳細文檔

零樣本性能

以下表格展示了通用視覺基礎模型在圖像描述和目標檢測評估任務上的零樣本性能。這些模型在訓練階段未接觸評估任務的訓練數據。

方法	參數量	COCO Cap. test CIDEr	NoCaps val CIDEr	TextCaps val CIDEr	COCO Det. val2017 mAP
Flamingo	80B	84.3	-	-	-
Florence - 2 - base	0.23B	133.0	118.7	70.1	34.7
Florence - 2 - large	0.77B	135.6	120.8	72.8	37.5

以下表格繼續比較了在其他視覺語言評估任務上的性能。

方法	Flickr30k test R@1	Refcoco val Accuracy	Refcoco test - A Accuracy	Refcoco test - B Accuracy	Refcoco+ val Accuracy	Refcoco+ test - A Accuracy	Refcoco+ test - B Accuracy	Refcocog val Accuracy	Refcocog test Accuracy	Refcoco RES val mIoU
Kosmos - 2	78.7	52.3	57.4	47.3	45.5	50.7	42.2	60.6	61.7	-
Florence - 2 - base	83.6	53.9	58.4	49.7	51.5	56.4	47.9	66.3	65.1	34.6
Florence - 2 - large	84.4	56.3	61.6	51.4	53.6	57.9	49.9	68.0	67.0	35.8

微調性能

我們對Florence - 2模型進行了一系列下游任務的微調，得到了兩個通用模型Florence - 2 - base - ft和Florence - 2 - large - ft，它們可以執行廣泛的下游任務。

下表比較了專用模型和通用模型在各種圖像描述和視覺問答（VQA）任務上的性能。專用模型針對每個任務進行了專門的微調，而通用模型則以與任務無關的方式在所有任務上進行微調。符號“▲”表示使用外部OCR作為輸入。

方法	參數量	COCO Caption Karpathy test CIDEr	NoCaps val CIDEr	TextCaps val CIDEr	VQAv2 test - dev Acc	TextVQA test - dev Acc	VizWiz VQA test - dev Acc
專用模型
CoCa	2.1B	143.6	122.4	-	82.3	-	-
BLIP - 2	7.8B	144.5	121.6	-	82.2	-	-
GIT2	5.1B	145.0	126.9	148.6	81.7	67.3	71.0
Flamingo	80B	138.1	-	-	82.0	54.1	65.7
PaLI	17B	149.1	127.0	160.0▲	84.3	58.8 / 73.1▲	71.6 / 74.4▲
PaLI - X	55B	149.2	126.3	147.0 / 163.7▲	86.0	71.4 / 80.8▲	70.9 / 74.6▲
通用模型
Unified - IO	2.9B	-	100.0	-	77.9	-	57.4
Florence - 2 - base - ft	0.23B	140.0	116.7	143.9	79.7	63.6	63.6
Florence - 2 - large - ft	0.77B	143.3	124.9	151.1	81.7	73.5	72.6

方法	參數量	COCO Det. val2017 mAP	Flickr30k test R@1	RefCOCO val Accuracy	RefCOCO test - A Accuracy	RefCOCO test - B Accuracy	RefCOCO+ val Accuracy	RefCOCO+ test - A Accuracy	RefCOCO+ test - B Accuracy	RefCOCOg val Accuracy	RefCOCOg test Accuracy	RefCOCO RES val mIoU
專用模型
SeqTR	-	-	-	83.7	86.5	81.2	71.5	76.3	64.9	74.9	74.2	-
PolyFormer	-	-	-	90.4	92.9	87.2	85.0	89.8	78.0	85.8	85.9	76.9
UNINEXT	0.74B	60.6	-	92.6	94.3	91.5	85.2	89.6	79.8	88.7	89.4	-
Ferret	13B	-	-	89.5	92.4	84.4	82.8	88.1	75.2	85.8	86.3	-
通用模型
UniTAB	-	-	-	88.6	91.1	83.8	81.0	85.4	71.6	84.6	84.7	-
Florence - 2 - base - ft	0.23B	41.4	84.0	92.6	94.8	91.5	86.8	91.7	82.2	89.8	82.2	78.0
Florence - 2 - large - ft	0.77B	43.4	85.2	93.4	95.3	92.0	88.3	92.9	83.6	91.2	91.7	80.5

📄 許可證

本項目採用MIT許可證，許可證鏈接。

🔧 技術細節

BibTex引用

@article{xiao2023florence,
  title={Florence - 2: Advancing a unified representation for a variety of vision tasks},
  author={Xiao, Bin and Wu, Haiping and Xu, Weijian and Dai, Xiyang and Hu, Houdong and Lu, Yumao and Zeng, Michael and Liu, Ce and Yuan, Lu},
  journal={arXiv preprint arXiv:2311.06242},
  year={2023}
}