Face Parsing

🚀 人臉解析模型

本項目是一個用於人臉解析的語義分割模型，它基於 nvidia/mit-b5 模型，並使用 CelebAMask-HQ 數據集進行微調。該模型可用於將人臉圖像分割為不同的語義區域，如皮膚、鼻子、眼睛等。此外，項目還提供了適用於 Python 和瀏覽器的使用示例，方便開發者集成。

語義分割 模型從 nvidia/mit-b5 微調而來，使用 CelebAMask-HQ 數據集進行人臉解析。更多選項請參閱 Transformers Segformer 文檔。

用於 Web 推理的 ONNX 模型由 Xenova 貢獻。

📚 詳細文檔

標籤信息

完整的標籤列表可以從 config.json 中提取。

💻 使用示例

基礎用法（Python）

import torch
from torch import nn
from transformers import SegformerImageProcessor, SegformerForSemanticSegmentation

from PIL import Image
import matplotlib.pyplot as plt
import requests

# 方便自動確定設備
device = (
    "cuda"
    # NVIDIA 或 AMD GPU 設備
    if torch.cuda.is_available()
    else "mps"
    # Apple Silicon (Metal Performance Shaders) 設備
    if torch.backends.mps.is_available()
    else "cpu"
)

# 加載模型
image_processor = SegformerImageProcessor.from_pretrained("jonathandinu/face-parsing")
model = SegformerForSemanticSegmentation.from_pretrained("jonathandinu/face-parsing")
model.to(device)

# 期望輸入為 PIL.Image 或 torch.Tensor
url = "https://images.unsplash.com/photo-1539571696357-5a69c17a67c6"
image = Image.open(requests.get(url, stream=True).raw)

# 在圖像上運行推理
inputs = image_processor(images=image, return_tensors="pt").to(device)
outputs = model(**inputs)
logits = outputs.logits  # 形狀 (batch_size, num_labels, ~height/4, ~width/4)

# 調整輸出大小以匹配輸入圖像尺寸
upsampled_logits = nn.functional.interpolate(logits,
                size=image.size[::-1], # H x W
                mode='bilinear',
                align_corners=False)

# 獲取標籤掩碼
labels = upsampled_logits.argmax(dim=1)[0]

# 移動到 CPU 以便在 matplotlib 中可視化
labels_viz = labels.cpu().numpy()
plt.imshow(labels_viz)
plt.show()

基礎用法（瀏覽器 - Transformers.js）

import {
  pipeline,
  env,
} from "https://cdn.jsdelivr.net/npm/@xenova/transformers@2.14.0";

// 重要：防止錯誤，因為模型文件可能在 HF hub 上是遠程的
env.allowLocalModels = false;

// 使用預訓練的人臉解析模型實例化圖像分割管道
model = await pipeline("image-segmentation", "jonathandinu/face-parsing");

// 異步推理，因為可能需要幾秒鐘
const output = await model(url);

// 每個標籤是一個單獨的掩碼對象
// [
//   { score: null, label: 'background', mask: transformers.js RawImage { ... }}
//   { score: null, label: 'hair', mask: transformers.js RawImage { ... }}
//    ...
// ]
for (const m of output) {
  print(`Found ${m.label}`);
  m.mask.save(`${m.label}.png`);
}

高級用法（p5.js）

由於 p5.js 使用動畫循環抽象，我們需要注意加載模型和進行預測。

// ...

// 異步加載 transformers.js 並實例化模型
async function preload() {
  // 使用動態導入加載 transformers.js 庫
  const { pipeline, env } = await import(
    "https://cdn.jsdelivr.net/npm/@xenova/transformers@2.14.0"
  );

  // 重要：防止錯誤，因為模型文件在 HF hub 上是遠程的
  env.allowLocalModels = false;

  // 使用預訓練的人臉解析模型實例化圖像分割管道
  model = await pipeline("image-segmentation", "jonathandinu/face-parsing");

  print("face-parsing 模型已加載");
}

// ...

完整 p5.js 示例

模型信息

⚠️ 侷限性和偏差

雖然計算機視覺模型的能力令人印象深刻，但它們也可能強化或加劇社會偏差。用於微調的 CelebAMask-HQ 數據集雖然很大，但不一定具有完美的多樣性或代表性。此外，這些圖像僅來自名人。