Face Parsing

🚀 顔パーシング

このモデルは、[nvidia/mit - b5](https://huggingface.co/nvidia/mit - b5) を [CelebAMask - HQ](https://github.com/switchablenorms/CelebAMask - HQ) でファインチューニングした、顔パーシング用のセマンティックセグメンテーション モデルです。追加のオプションについては、Transformersの Segformerドキュメント を参照してください。

Xenova が提供したウェブ推論用のONNXモデルです。

🚀 クイックスタート

ラベル情報

完全なラベルリストは、[config.json](https://huggingface.co/jonathandinu/face - parsing/blob/65972ac96180b397f86fda0980bbe68e6ee01b8f/config.json#L30) から抽出できます。

💻 使用例

Pythonでの使用

import torch
from torch import nn
from transformers import SegformerImageProcessor, SegformerForSemanticSegmentation

from PIL import Image
import matplotlib.pyplot as plt
import requests

# convenience expression for automatically determining device
device = (
    "cuda"
    # Device for NVIDIA or AMD GPUs
    if torch.cuda.is_available()
    else "mps"
    # Device for Apple Silicon (Metal Performance Shaders)
    if torch.backends.mps.is_available()
    else "cpu"
)

# load models
image_processor = SegformerImageProcessor.from_pretrained("jonathandinu/face-parsing")
model = SegformerForSemanticSegmentation.from_pretrained("jonathandinu/face-parsing")
model.to(device)

# expects a PIL.Image or torch.Tensor
url = "https://images.unsplash.com/photo-1539571696357-5a69c17a67c6"
image = Image.open(requests.get(url, stream=True).raw)

# run inference on image
inputs = image_processor(images=image, return_tensors="pt").to(device)
outputs = model(**inputs)
logits = outputs.logits  # shape (batch_size, num_labels, ~height/4, ~width/4)

# resize output to match input image dimensions
upsampled_logits = nn.functional.interpolate(logits,
                size=image.size[::-1], # H x W
                mode='bilinear',
                align_corners=False)

# get label masks
labels = upsampled_logits.argmax(dim=1)[0]

# move to CPU to visualize in matplotlib
labels_viz = labels.cpu().numpy()
plt.imshow(labels_viz)
plt.show()

ブラウザでの使用 (Transformers.js)

import {
  pipeline,
  env,
} from "https://cdn.jsdelivr.net/npm/@xenova/transformers@2.14.0";

// important to prevent errors since the model files are likely remote on HF hub
env.allowLocalModels = false;

// instantiate image segmentation pipeline with pretrained face parsing model
model = await pipeline("image-segmentation", "jonathandinu/face-parsing");

// async inference since it could take a few seconds
const output = await model(url);

// each label is a separate mask object
// [
//   { score: null, label: 'background', mask: transformers.js RawImage { ... }}
//   { score: null, label: 'hair', mask: transformers.js RawImage { ... }}
//    ...
// ]
for (const m of output) {
  print(`Found ${m.label}`);
  m.mask.save(`${m.label}.png`);
}

p5.jsでの使用

p5.js はアニメーションループ抽象化を使用しているため、モデルの読み込みと予測を行う際に注意が必要です。

// ...

// asynchronously load transformers.js and instantiate model
async function preload() {
  // load transformers.js library with a dynamic import
  const { pipeline, env } = await import(
    "https://cdn.jsdelivr.net/npm/@xenova/transformers@2.14.0"
  );

  // important to prevent errors since the model files are remote on HF hub
  env.allowLocalModels = false;

  // instantiate image segmentation pipeline with pretrained face parsing model
  model = await pipeline("image-segmentation", "jonathandinu/face-parsing");

  print("face-parsing model loaded");
}

// ...

完全なp5.jsの例

📚 ドキュメント

モデルの説明

• 開発者: Jonathan Dinu
• モデルの種類: Transformerベースのセマンティックセグメンテーション画像モデル
• ライセンス: 非商用の研究および教育目的
• 詳細情報のリソース: Transformersの Segformerドキュメント および/または 元の研究論文

🔧 技術詳細

バイアスと制限

コンピュータビジョンモデルの能力は印象的ですが、社会的バイアスを強化または悪化させる可能性もあります。ファインチューニングに使用される [CelebAMask - HQ](https://github.com/switchablenorms/CelebAMask - HQ) データセットは大規模ですが、必ずしも完全に多様または代表的ではありません。また、これらは有名人の画像です。