Siglip Base Patch16 224

🚀 SiglipモデルのTransformers.js対応版

GoogleのSiglipベースモデルをONNXウェイトでTransformers.jsと互換性を持たせたものです。ゼロショット画像分類や埋め込み計算が可能です。

🚀 クイックスタート

https://huggingface.co/google/siglip-base-patch16-224 のモデルをONNXウェイトとして、Transformers.jsと互換性を持たせています。

📦 インストール

まだインストールしていない場合は、NPM から Transformers.js JavaScriptライブラリをインストールできます。

npm i @xenova/transformers

💻 使用例

基本的な使用法

例: Xenova/siglip-base-patch16-224 を使ったゼロショット画像分類

import { pipeline } from '@xenova/transformers';

const classifier = await pipeline('zero-shot-image-classification', 'Xenova/siglip-base-patch16-224');
const url = 'http://images.cocodataset.org/val2017/000000039769.jpg';
const output = await classifier(url, ['2 cats', '2 dogs'], {
    hypothesis_template: 'a photo of {}',
});
console.log(output);
// [
//   { score: 0.16770583391189575, label: '2 cats' },
//   { score: 0.000022096000975579955, label: '2 dogs' }
// ]

高度な使用法

例: SiglipTextModel でテキスト埋め込みを計算する

import { AutoTokenizer, SiglipTextModel } from '@xenova/transformers';

// Load tokenizer and text model
const tokenizer = await AutoTokenizer.from_pretrained('Xenova/siglip-base-patch16-224');
const text_model = await SiglipTextModel.from_pretrained('Xenova/siglip-base-patch16-224');

// Run tokenization
const texts = ['a photo of 2 cats', 'a photo of 2 dogs'];
const text_inputs = tokenizer(texts, { padding: 'max_length', truncation: true });

// Compute embeddings
const { pooler_output } = await text_model(text_inputs);
// Tensor {
//   dims: [ 2, 768 ],
//   type: 'float32',
//   data: Float32Array(1536) [ ... ],
//   size: 1536
// }

例: SiglipVisionModel でビジョン埋め込みを計算する

import { AutoProcessor, SiglipVisionModel, RawImage} from '@xenova/transformers';

// Load processor and vision model
const processor = await AutoProcessor.from_pretrained('Xenova/siglip-base-patch16-224');
const vision_model = await SiglipVisionModel.from_pretrained('Xenova/siglip-base-patch16-224');

// Read image and run processor
const image = await RawImage.read('https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/football-match.jpg');
const image_inputs = await processor(image);

// Compute embeddings
const { pooler_output } = await vision_model(image_inputs);
// Tensor {
//   dims: [ 1, 768 ],
//   type: 'float32',
//   data: Float32Array(768) [ ... ],
//   size: 768
// }

📚 ドキュメント

⚠️ 重要提示

ONNXウェイト用の別のリポジトリを持つのは、WebMLがもっと普及するまでの一時的な解決策です。モデルをWeb対応にする場合は、🤗 Optimum を使ってONNXに変換し、このリポジトリのように構成することをおすすめします（ONNXウェイトは onnx というサブフォルダに配置）。