Slimsam 77 Uniform

🚀 SlimSAM 77 Uniform與Transformers.js集成項目

本項目將 nielsr/slimsam-77-uniform 基礎模型的ONNX權重適配到 Transformers.js 庫，以實現模型在Web端的高效運行。

🚀 快速開始

本項目使用 Transformers.js 庫，藉助 nielsr/slimsam-77-uniform 模型的ONNX權重實現功能。你可以訪問 這裡 獲取模型相關信息。

📦 安裝指南

如果你還未安裝 Transformers.js JavaScript庫，可以使用以下命令從 NPM 進行安裝：

npm i @huggingface/transformers

💻 使用示例

基礎用法

以下示例展示瞭如何使用 Xenova/slimsam-77-uniform 進行掩碼生成：

import { SamModel, AutoProcessor, RawImage } from '@huggingface/transformers';

// 加載模型和處理器
const model = await SamModel.from_pretrained('Xenova/slimsam-77-uniform');
const processor = await AutoProcessor.from_pretrained('Xenova/slimsam-77-uniform');

// 準備圖像和輸入點
const img_url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/corgi.jpg';
const raw_image = await RawImage.read(img_url);
const input_points = [[[340, 250]]];

// 處理輸入並進行掩碼生成
const inputs = await processor(raw_image, { input_points });
const outputs = await model(inputs);

// 後處理掩碼
const masks = await processor.post_process_masks(outputs.pred_masks, inputs.original_sizes, inputs.reshaped_input_sizes);
console.log(masks);
// [
//   Tensor {
//     dims: [ 1, 3, 410, 614 ],
//     type: 'bool',
//     data: Uint8Array(755220) [ ... ],
//     size: 755220
//   }
// ]
const scores = outputs.iou_scores;
console.log(scores);
// Tensor {
//   dims: [ 1, 1, 3 ],
//   type: 'float32',
//   data: Float32Array(3) [
//     0.8350210189819336,
//     0.9786665439605713,
//     0.8379436731338501
//   ],
//   size: 3
// }

高級用法

生成的掩碼可以進行可視化展示：

const image = RawImage.fromTensor(masks[0][0].mul(255));
image.save('mask.png');

接下來，選擇IoU分數最高的通道（在本例中為第二個綠色通道）。將其與原始圖像相交，即可得到主體的分離版本：

📚 詳細文檔

在線演示

我們提供了一個在線演示，你可以點擊 這裡 進行體驗。

注意事項

⚠️ 重要提示

目前為ONNX權重單獨創建倉庫是一種臨時解決方案，直到WebML獲得更廣泛的應用。如果你想讓你的模型適用於Web端，我們建議使用 🤗 Optimum 將模型轉換為ONNX格式，並按照本倉庫的結構進行組織（將ONNX權重放在名為 onnx 的子文件夾中）。

🔧 技術細節