Sam Vit Large

🚀 セグメントアニソニーモデルのTransformers.js対応版

このプロジェクトは、FacebookのSAM-ViT-LargeモデルをTransformers.jsと互換性のあるONNXウェイトで提供します。これにより、JavaScript環境でのセグメンテーションタスクを容易に行うことができます。

🚀 クイックスタート

https://huggingface.co/facebook/sam-vit-large のモデルをONNXウェイトで使用し、Transformers.jsと互換性を持たせています。

📦 インストール

まだの場合は、Transformers.js JavaScriptライブラリをNPMから以下のコマンドでインストールできます。

npm i @huggingface/transformers

💻 使用例

基本的な使用法

例: Xenova/sam-vit-large を使用してマスク生成を行います。

import { SamModel, AutoProcessor, RawImage } from "@huggingface/transformers";

// モデルとプロセッサーをロード
const model = await SamModel.from_pretrained("Xenova/sam-vit-large");
const processor = await AutoProcessor.from_pretrained("Xenova/sam-vit-large");

// 画像と入力ポイントを準備
const img_url = "https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/corgi.jpg";
const raw_image = await RawImage.read(img_url);
const input_points = [[[340, 250]]];

// 入力を処理し、マスク生成を実行
const inputs = await processor(raw_image, { input_points });
const outputs = await model(inputs);

// マスクを後処理
const masks = await processor.post_process_masks(outputs.pred_masks, inputs.original_sizes, inputs.reshaped_input_sizes);
console.log(masks);
// [
//   Tensor {
//     dims: [ 1, 3, 410, 614 ],
//     type: 'bool',
//     data: Uint8Array(755220) [ ... ],
//     size: 755220
//   }
// ]
const scores = outputs.iou_scores;
console.log(scores);
// Tensor {
//   dims: [ 1, 1, 3 ],
//   type: 'float32',
//   data: Float32Array(3) [
//     1.0122944116592407,
//     0.9184409976005554,
//     0.9796935319900513
//   ],
//   size: 3
// }

生成されたマスクを可視化するには、以下のコードを使用します。

const image = RawImage.fromTensor(masks[0][0].mul(255));
image.save('mask.png');

次に、最も高いIoUスコアを持つチャンネルを選択します。この場合は最初の（赤色の）チャンネルです。これを元の画像と交差させることで、対象物を分離したバージョンが得られます。

📚 ドキュメント

デモ

オンラインデモも用意しています。こちらから試すことができます。

⚠️ 重要提示

ONNXウェイト用の別のリポジトリを用意するのは、WebMLがより普及するまでの一時的な解決策です。モデルをWeb対応にする場合は、🤗 Optimumを使用してONNXに変換し、このリポジトリのように構成することをおすすめします（ONNXウェイトは onnx というサブフォルダに配置します）。