Birefnet

🚀 Bilateral Reference for High-Resolution Dichotomous Image Segmentation

高解像度二値画像セグメンテーションのための双方向参照モデルで、画像の背景除去、マスク生成などのタスクに有効です。

🚀 クイックスタート

このリポジトリは、Bilateral Reference for High-Resolution Dichotomous Image Segmentation (CAAI AIR 2024) の公式実装です。詳細（コード、ドキュメント、モデルズー）については、GitHubリポジトリ https://github.com/ZhengPeng7/BiRefNet をご覧ください。

0. パッケージのインストール

pip install -qr https://raw.githubusercontent.com/ZhengPeng7/BiRefNet/main/requirements.txt

1. BiRefNetの読み込み

HuggingFaceからコードと重みを使用する

HuggingFace上の重みのみを使用します。利点: BiRefNetのコードを手動でダウンロードする必要がありません。欠点: HuggingFace上のコードは最新バージョンではない可能性があります（最新に保つように努めます）。

# 重み付きでBiRefNetを読み込む
from transformers import AutoModelForImageSegmentation
birefnet = AutoModelForImageSegmentation.from_pretrained('ZhengPeng7/BiRefNet', trust_remote_code=True)

GitHubからコードを、HuggingFaceから重みを使用する

HuggingFace上の重みのみを使用します。利点: コードは常に最新です。欠点: GitHubからBiRefNetのリポジトリをクローンする必要があります。

# コードをダウンロード
git clone https://github.com/ZhengPeng7/BiRefNet.git
cd BiRefNet

# ローカルのコードを使用
from models.birefnet import BiRefNet

# Hugging Face Modelsから重みを読み込む
birefnet = BiRefNet.from_pretrained('ZhengPeng7/BiRefNet')

GitHubからコードを、ローカルから重みを使用する

重みとコードの両方をローカルで使用します。

# ローカルのコードと重みを使用
import torch
from utils import check_state_dict

birefnet = BiRefNet(bb_pretrained=False)
state_dict = torch.load(PATH_TO_WEIGHT, map_location='cpu')
state_dict = check_state_dict(state_dict)
birefnet.load_state_dict(state_dict)

読み込んだBiRefNetを推論に使用する

# インポート
from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from models.birefnet import BiRefNet

birefnet = ... # -- BiRefNetは上記のコードで読み込まれる必要があります。
torch.set_float32_matmul_precision(['high', 'highest'][0])
birefnet.to('cuda')
birefnet.eval()
birefnet.half()

def extract_object(birefnet, imagepath):
    # データ設定
    image_size = (1024, 1024)
    transform_image = transforms.Compose([
        transforms.Resize(image_size),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ])

    image = Image.open(imagepath)
    input_images = transform_image(image).unsqueeze(0).to('cuda').half()

    # 予測
    with torch.no_grad():
        preds = birefnet(input_images)[-1].sigmoid().cpu()
    pred = preds[0].squeeze()
    pred_pil = transforms.ToPILImage()(pred)
    mask = pred_pil.resize(image.size)
    image.putalpha(mask)
    return image, mask

# 可視化
plt.axis("off")
plt.imshow(extract_object(birefnet, imagepath='PATH-TO-YOUR_IMAGE.jpg')[0])
plt.show()

2. ローカルで推論エンドポイントを使用する

自分で deploy をクリックしてエンドポイントを設定する必要があり、費用が発生する場合があります。

import requests
import base64
from io import BytesIO
from PIL import Image


YOUR_HF_TOKEN = 'xxx'
API_URL = "xxx"
headers = {
    "Authorization": "Bearer {}".format(YOUR_HF_TOKEN)
}

def base64_to_bytes(base64_string):
    # データURIプレフィックスがある場合は削除
    if "data:image" in base64_string:
        base64_string = base64_string.split(",")[1]

    # Base64文字列をバイトにデコード
    image_bytes = base64.b64decode(base64_string)
    return image_bytes

def bytes_to_base64(image_bytes):
    # 画像データを処理するためのBytesIOオブジェクトを作成
    image_stream = BytesIO(image_bytes)

    # Pillow (PIL) を使用して画像を開く
    image = Image.open(image_stream)
    return image

def query(payload):
    response = requests.post(API_URL, headers=headers, json=payload)
    return response.json()

output = query({
    "inputs": "https://hips.hearstapps.com/hmg-prod/images/gettyimages-1229892983-square.jpg",
    "parameters": {}
})

output_image = bytes_to_base64(base64_to_bytes(output))
output_image

オンラインデモでの推論

• Colabでのオンライン 画像推論:
• Hugging Face上でGUI付きの オンライン推論（解像度調整可能）:
• 与えられた重みの 推論と評価:

✨ 主な機能

このBiRefNetは、標準的な二値画像セグメンテーション (DIS) のために DIS-TR で訓練され、DIS-TEs と DIS-VD で検証されています。このリポジトリには、論文で提案されたBiRefNetの重みが含まれており、3つのタスク（DIS、HRSOD、COD）でSOTAの性能を達成しています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。詳細は LICENSE を参照してください。

謝辞

• @Freepik 様には、より高解像度のBiRefNetモデルの訓練やその他の探索におけるGPUリソースの提供に感謝いたします。
• @fal 様には、より汎用的なBiRefNetモデルの訓練におけるGPUリソースの提供に感謝いたします。
• @not-lain 様には、HuggingFace上でのBiRefNetモデルのより良いデプロイに関する支援に感謝いたします。

引用

@article{zheng2024birefnet,
  title={Bilateral Reference for High-Resolution Dichotomous Image Segmentation},
  author={Zheng, Peng and Gao, Dehong and Fan, Deng-Ping and Liu, Li and Laaksonen, Jorma and Ouyang, Wanli and Sebe, Nicu},
  journal={CAAI Artificial Intelligence Research},
  volume = {3},
  pages = {9150038},
  year={2024}
}