Grounding Dino Tiny ONNX

🚀 Transformers.js

Transformers.jsは、https://huggingface.co/IDEA-Research/grounding-dino-tiny のONNXウェイトを使用し、Transformers.jsと互換性を持たせたJavaScriptライブラリです。

🚀 クイックスタート

Transformers.jsを使用する前に、Transformers.js JavaScriptライブラリをNPMからインストールする必要があります。以下のコマンドを使用してインストールできます。

npm i @huggingface/transformers

💻 使用例

基本的な使用法

pipeline APIを使用したonnx-community/grounding-dino-tiny-ONNXによるゼロショット物体検出の例です。

import { pipeline } from "@huggingface/transformers";

const detector = await pipeline("zero-shot-object-detection", "onnx-community/grounding-dino-tiny-ONNX");

const url = "http://images.cocodataset.org/val2017/000000039769.jpg";
const candidate_labels = ["a cat."];
const output = await detector(url, candidate_labels, {
  threshold: 0.3,
});

高度な使用法

AutoModel APIを使用したonnx-community/grounding-dino-tiny-ONNXによるゼロショット物体検出の例です。

import { AutoModelForZeroShotObjectDetection, AutoProcessor, load_image } from "@huggingface/transformers";

// モデルとプロセッサをロード
const model_id = "onnx-community/grounding-dino-tiny-ONNX";
const processor = await AutoProcessor.from_pretrained(model_id);
const model = await AutoModelForZeroShotObjectDetection.from_pretrained(model_id, { dtype: "fp32" });

// 画像とテキスト入力を準備
const image = await load_image("http://images.cocodataset.org/val2017/000000039769.jpg");
const text = "a cat."; // 注意: テキストクエリは小文字にし、末尾にドットを付ける必要があります

// 画像とテキストを前処理
const inputs = await processor(image, text);

// モデルを実行
const outputs = await model(inputs);

// 出力を後処理
const results = processor.post_process_grounded_object_detection(
  outputs,
  inputs.input_ids,
  {
    box_threshold: 0.3,
    text_threshold: 0.3,
    target_sizes: [image.size.reverse()],
  },
);
console.log(results);

📄 ライセンス

本ライブラリはApache-2.0ライセンスの下で提供されています。