Pcsr Carn

🚀 加速基於像素級分類的圖像超分辨率網絡 (ECCV 2024)

本項目提出了一種新穎的圖像超分辨率方法，通過在像素級別自適應分配計算資源，優化了計算資源的使用，在不重新訓練的情況下平衡了推理過程中的性能和計算成本。

🚀 快速開始

依賴環境

• Python 3.7
• Pytorch 1.13
• NVIDIA GPU + CUDA
• Python 包：執行 pip install numpy opencv-python pandas tqdm fast_pytorch_kmeans 進行安裝

演示

我們提供了一個對單張低分辨率（LR）圖像進行 4 倍超分辨率處理的演示（僅支持 4 倍縮放和 .png 格式）。

1. 克隆項目：

git clone https://huggingface.co/3587jjh/pcsr_carn

2. 指定低分辨率圖像路徑和輸出路徑，示例如下：

python demo.py --lr_path comic.png --output_path results

輸出結果示例：flops: 66.3G (63.6 %) | max_flops: 104.1G (100 %)

如需詳細演示和信息，請參考 我們的 GitHub 頁面。

📚 詳細文檔

摘要

近年來，對有效超分辨率（SR）技術的需求激增，特別是對於 2K 到 8K 分辨率的大規模圖像。對於基於深度神經網絡（DNN）的單圖像超分辨率（SISR），由於計算限制，通常需要將圖像分解為重疊的圖像塊。在這種圖像塊分解方案中，可以根據每個圖像塊的難度不同分配計算資源，從而在保持 SR 性能的同時進一步提高效率。然而，這種方法存在一個侷限性：在一個圖像塊內均勻分配計算資源，當圖像塊包含具有不同恢復難度的像素時，效率會降低。為了解決這個問題，我們提出了用於單圖像超分辨率的像素級分類器（PCSR），這是一種旨在在像素級別自適應分配計算資源的新方法。PCSR 模型由一個主幹網絡、一個像素級分類器和一組具有不同容量的像素級上採樣器組成。像素級分類器根據每個像素的恢復難度將其分配到合適的上採樣器，從而優化計算資源的使用。我們的方法允許在推理過程中平衡性能和計算成本，而無需重新訓練。我們的實驗表明，在不同的主幹模型和基準測試中，PCSR 在 PSNR - FLOP 權衡方面優於現有的圖像塊分配方法。

📄 許可證

文檔中未提及相關信息。

📝 引用

@inproceedings{jeong2025accelerating,
  title={Accelerating Image Super-Resolution Networks with Pixel-Level Classification},
  author={Jeong, Jinho and Kim, Jinwoo and Jo, Younghyun and Kim, Seon Joo},
  booktitle={European Conference on Computer Vision},
  pages={236--251},
  year={2025},
  organization={Springer}
}