U 2 Net

🚀 U-2-Net

U-2-Netは、画像セグメンテーションタスク、特に詳細なマスク生成に設計された深層学習モデルです。様々なセグメンテーションタスクで高い性能を発揮し、背景除去、物体検出、医療画像分析などのアプリケーションに汎用的に使用できます。

🚀 クイックスタート

BritishWerewolf/U-2-Netを使用してマスク生成を行います。

✨ 主な機能

U-2-Netは、ネストされたUブロックを持つ独特なアーキテクチャを利用して、高レベルのセマンティック特徴と細かい詳細の両方を捉えることができます。このモデルは、様々なセグメンテーションタスクで高い性能を発揮し、背景除去、物体検出、医療画像分析などのアプリケーションに適しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

// 使用例のコードとコメントはそのまま保持
import { AutoModel, AutoProcessor, RawImage } from '@huggingface/transformers';

const img_url = 'https://huggingface.co/ybelkada/segment-anything/resolve/main/assets/car.png';
const image = await RawImage.read(img_url);

const processor = await AutoProcessor.from_pretrained('BritishWerewolf/U-2-Net');
const processed = await processor(image);

const model = await AutoModel.from_pretrained('BritishWerewolf/U-2-Net', {
    dtype: 'fp32',
});

const output = await model({ input: processed.pixel_values });
// {
//   mask: Tensor {
//     dims: [ 1, 320, 320 ],
//     type: 'uint8',
//     data: Uint8Array(102400) [ ... ],
//     size: 102400
//   }
// }

高度な使用法

// 高度な使用法の説明は元のREADMEにないため、コードのみ表示
import { AutoModel, AutoProcessor, RawImage } from '@huggingface/transformers';

const img_url = 'https://huggingface.co/ybelkada/segment-anything/resolve/main/assets/car.png';
const image = await RawImage.read(img_url);

const processor = await AutoProcessor.from_pretrained('BritishWerewolf/U-2-Net');
const processed = await processor(image);

const model = await AutoModel.from_pretrained('BritishWerewolf/U-2-Net', {
    dtype: 'fp32',
});

const output = await model({ input: processed.pixel_values });

📚 ドキュメント

モデルアーキテクチャ

U-2-Netモデルは、ネストされたU構造に基づいて構築されています。各Uブロックは、複数の畳み込み層、プーリング、およびアップサンプリング操作で構成されています。このアーキテクチャは、ダウンサンプリングとアップサンプリングのパスを組み合わせて、異なるスケールの特徴を学習することができます。この設計により、U-2-Netは正確で高解像度のセグメンテーションマップを生成することができます。アーキテクチャの主要なコンポーネントには、特徴表現を強化し、ネットワークを通じて効率的な情報の流れを確保するResidual Uブロック（RSU）が含まれています。

推論

モデルを推論に使用するには、上記の例に従ってください。transformersライブラリのAutoProcessorとAutoModelクラスを使用すると、モデルとプロセッサを簡単にロードできます。

🔧 技術詳細

U-2-Netは、ネストされたUブロックを持つ独特なアーキテクチャを利用して、高レベルのセマンティック特徴と細かい詳細の両方を捉えることができます。このアーキテクチャは、ダウンサンプリングとアップサンプリングのパスを組み合わせて、異なるスケールの特徴を学習することができます。Residual Uブロック（RSU）は、特徴表現を強化し、ネットワークを通じて効率的な情報の流れを確保します。

📄 ライセンス

このモデルは、元のU-2-Netモデルと同じく、Apache License 2.0の下でライセンスされています。

参考情報

• ONNXモデルについてはrembgを参照してください。
• 元のU-2-Netモデルの著者については、https://github.com/xuebinqin/U-2-Net を参照してください。