Face Parsing

🚀 人脸解析模型

本项目是一个用于人脸解析的语义分割模型，它基于 nvidia/mit-b5 模型，并使用 CelebAMask-HQ 数据集进行微调。该模型可用于将人脸图像分割为不同的语义区域，如皮肤、鼻子、眼睛等。此外，项目还提供了适用于 Python 和浏览器的使用示例，方便开发者集成。

语义分割 模型从 nvidia/mit-b5 微调而来，使用 CelebAMask-HQ 数据集进行人脸解析。更多选项请参阅 Transformers Segformer 文档。

用于 Web 推理的 ONNX 模型由 Xenova 贡献。

📚 详细文档

标签信息

完整的标签列表可以从 config.json 中提取。

💻 使用示例

基础用法（Python）

import torch
from torch import nn
from transformers import SegformerImageProcessor, SegformerForSemanticSegmentation

from PIL import Image
import matplotlib.pyplot as plt
import requests

# 方便自动确定设备
device = (
    "cuda"
    # NVIDIA 或 AMD GPU 设备
    if torch.cuda.is_available()
    else "mps"
    # Apple Silicon (Metal Performance Shaders) 设备
    if torch.backends.mps.is_available()
    else "cpu"
)

# 加载模型
image_processor = SegformerImageProcessor.from_pretrained("jonathandinu/face-parsing")
model = SegformerForSemanticSegmentation.from_pretrained("jonathandinu/face-parsing")
model.to(device)

# 期望输入为 PIL.Image 或 torch.Tensor
url = "https://images.unsplash.com/photo-1539571696357-5a69c17a67c6"
image = Image.open(requests.get(url, stream=True).raw)

# 在图像上运行推理
inputs = image_processor(images=image, return_tensors="pt").to(device)
outputs = model(**inputs)
logits = outputs.logits  # 形状 (batch_size, num_labels, ~height/4, ~width/4)

# 调整输出大小以匹配输入图像尺寸
upsampled_logits = nn.functional.interpolate(logits,
                size=image.size[::-1], # H x W
                mode='bilinear',
                align_corners=False)

# 获取标签掩码
labels = upsampled_logits.argmax(dim=1)[0]

# 移动到 CPU 以便在 matplotlib 中可视化
labels_viz = labels.cpu().numpy()
plt.imshow(labels_viz)
plt.show()

基础用法（浏览器 - Transformers.js）

import {
  pipeline,
  env,
} from "https://cdn.jsdelivr.net/npm/@xenova/transformers@2.14.0";

// 重要：防止错误，因为模型文件可能在 HF hub 上是远程的
env.allowLocalModels = false;

// 使用预训练的人脸解析模型实例化图像分割管道
model = await pipeline("image-segmentation", "jonathandinu/face-parsing");

// 异步推理，因为可能需要几秒钟
const output = await model(url);

// 每个标签是一个单独的掩码对象
// [
//   { score: null, label: 'background', mask: transformers.js RawImage { ... }}
//   { score: null, label: 'hair', mask: transformers.js RawImage { ... }}
//    ...
// ]
for (const m of output) {
  print(`Found ${m.label}`);
  m.mask.save(`${m.label}.png`);
}

高级用法（p5.js）

由于 p5.js 使用动画循环抽象，我们需要注意加载模型和进行预测。

// ...

// 异步加载 transformers.js 并实例化模型
async function preload() {
  // 使用动态导入加载 transformers.js 库
  const { pipeline, env } = await import(
    "https://cdn.jsdelivr.net/npm/@xenova/transformers@2.14.0"
  );

  // 重要：防止错误，因为模型文件在 HF hub 上是远程的
  env.allowLocalModels = false;

  // 使用预训练的人脸解析模型实例化图像分割管道
  model = await pipeline("image-segmentation", "jonathandinu/face-parsing");

  print("face-parsing 模型已加载");
}

// ...

完整 p5.js 示例

模型信息

⚠️ 局限性和偏差

虽然计算机视觉模型的能力令人印象深刻，但它们也可能强化或加剧社会偏差。用于微调的 CelebAMask-HQ 数据集虽然很大，但不一定具有完美的多样性或代表性。此外，这些图像仅来自名人。