Sam Vit Large

🚀 基于Transformers.js的SAM模型

本项目将facebook/sam-vit-large模型转换为ONNX权重，以适配Transformers.js库，可在Web环境中使用该模型进行图像分割任务。

🚀 快速开始

安装依赖

如果你还没有安装Transformers.js JavaScript库，可以使用以下命令从NPM进行安装：

npm i @huggingface/transformers

💻 使用示例

基础用法

以下示例展示了如何使用Xenova/sam-vit-large模型进行掩码生成：

import { SamModel, AutoProcessor, RawImage } from "@huggingface/transformers";

// 加载模型和处理器
const model = await SamModel.from_pretrained("Xenova/sam-vit-large");
const processor = await AutoProcessor.from_pretrained("Xenova/sam-vit-large");

// 准备图像和输入点
const img_url = "https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/corgi.jpg";
const raw_image = await RawImage.read(img_url);
const input_points = [[[340, 250]]];

// 处理输入并进行掩码生成
const inputs = await processor(raw_image, { input_points });
const outputs = await model(inputs);

// 后处理掩码
const masks = await processor.post_process_masks(outputs.pred_masks, inputs.original_sizes, inputs.reshaped_input_sizes);
console.log(masks);
// [
//   Tensor {
//     dims: [ 1, 3, 410, 614 ],
//     type: 'bool',
//     data: Uint8Array(755220) [ ... ],
//     size: 755220
//   }
// ]
const scores = outputs.iou_scores;
console.log(scores);
// Tensor {
//   dims: [ 1, 1, 3 ],
//   type: 'float32',
//   data: Float32Array(3) [
//     1.0122944116592407,
//     0.9184409976005554,
//     0.9796935319900513
//   ],
//   size: 3
// }

可视化掩码

你可以使用以下代码将生成的掩码进行可视化：

const image = RawImage.fromTensor(masks[0][0].mul(255));
image.save('mask.png');

提取主体

接下来，选择IoU分数最高的通道（在本例中为第一个通道，即红色通道），将其与原始图像相交，即可得到主体的分割结果：

📚 详细文档

在线演示

我们还提供了一个在线演示，你可以点击这里进行尝试：

⚠️ 重要提示

目前为ONNX权重单独创建仓库是一种临时解决方案，直到WebML得到更广泛的应用。如果你想让你的模型适用于Web环境，建议使用🤗 Optimum将模型转换为ONNX格式，并按照本仓库的结构进行组织（将ONNX权重放在名为onnx的子文件夹中）。

📦 模型信息