Grounding Dino Tiny ONNX

🚀 Transformers.js項目

本項目將https://huggingface.co/IDEA-Research/grounding-dino-tiny 模型的ONNX權重進行處理，使其與Transformers.js兼容，可用於零樣本目標檢測任務。

🚀 快速開始

本項目依賴 Transformers.js JavaScript庫，你可以使用以下命令從 NPM 進行安裝：

npm i @huggingface/transformers

💻 使用示例

基礎用法

使用 pipeline API 結合 onnx-community/grounding-dino-tiny-ONNX 進行零樣本目標檢測：

import { pipeline } from "@huggingface/transformers";

const detector = await pipeline("zero-shot-object-detection", "onnx-community/grounding-dino-tiny-ONNX");

const url = "http://images.cocodataset.org/val2017/000000039769.jpg";
const candidate_labels = ["a cat."];
const output = await detector(url, candidate_labels, {
  threshold: 0.3,
});

高級用法

使用 AutoModel API 結合 onnx-community/grounding-dino-tiny-ONNX 進行零樣本目標檢測：

import { AutoModelForZeroShotObjectDetection, AutoProcessor, load_image } from "@huggingface/transformers";

// 加載模型和處理器
const model_id = "onnx-community/grounding-dino-tiny-ONNX";
const processor = await AutoProcessor.from_pretrained(model_id);
const model = await AutoModelForZeroShotObjectDetection.from_pretrained(model_id, { dtype: "fp32" });

// 準備圖像和文本輸入
const image = await load_image("http://images.cocodataset.org/val2017/000000039769.jpg");
const text = "a cat."; // 注意：文本查詢需要小寫並以點結尾

// 預處理圖像和文本
const inputs = await processor(image, text);

// 運行模型
const outputs = await model(inputs);

// 後處理輸出
const results = processor.post_process_grounded_object_detection(
  outputs,
  inputs.input_ids,
  {
    box_threshold: 0.3,
    text_threshold: 0.3,
    target_sizes: [image.size.reverse()],
  },
);
console.log(results);

📄 許可證

本項目採用 Apache-2.0 許可證。