pcsr_carnオープンソース画像超解像モデル - ピクセル分類による計算リソースの自動適応割り当ての実現

ホーム

Pcsr Carn

3587jjhによって開発

ピクセル単位分類により計算リソースを適応的に割り当てる効率的な画像超解像手法

画像の拡張

Safetensors

#ピクセル単位の計算割り当て #動的超解像 #高解像度画像修復

ダウンロード数 14

リリース時間 : 10/9/2024

モデル概要

このモデルはピクセル単位分類器で計算リソースを動的に割り当て、2Kから8K解像度画像の超解像処理効率を最適化

モデル特徴

ピクセル単位計算リソース割り当て

ピクセル修復難易度に応じてアップサンプラーを動的に割り当て、計算リソース使用を最適化

柔軟な性能-計算バランス

再学習不要で推論段階で性能と計算コストのバランスを調整可能

高解像度画像の効率的処理

2Kから8Kの大サイズ画像の超解像処理効率を特別に最適化

モデル能力

画像超解像

画質向上

高解像度画像処理

使用事例

画像強調

漫画画像超解像

低解像度漫画画像を4倍超解像処理

画質を維持しながら解像度を大幅に向上

高解像度画像再構築

2K-8K大サイズ画像を効率的に超解像処理

従来手法と比較しPSNR-FLOPトレードオフで優れた性能

🚀 画素レベル分類による画像超解像ネットワークの高速化 (ECCV 2024)

本プロジェクトは、画素レベルの分類を用いて画像超解像ネットワークの推論を高速化する手法を提案しています。これにより、計算資源を最適に配分し、高解像度画像の生成を効率的に行うことができます。

pipeline_tag: image-to-image tags:

image-super-resolution

概要: 近年、2Kから8K解像度の大規模画像に対する効果的な超解像（SR）技術の必要性が急増しています。DNNベースの単一画像超解像（SISR）では、計算上の制約から、画像を重複するパッチに分解する必要があります。このようなパッチ分解方式では、各パッチの難易度に基づいて計算資源を異なるように割り当てることで、SR性能を維持しながらさらに効率を向上させることができます。しかし、このアプローチには限界があります。つまり、パッチ内で計算資源が均一に割り当てられるため、パッチ内に復元難易度の異なる画素が含まれる場合、効率が低下します。この問題を解決するために、我々は単一画像超解像のための画素レベル分類器（PCSR）という新しい手法を提案します。この手法は、画素レベルで計算資源を適応的に配分するように設計されています。PCSRモデルは、バックボーン、画素レベル分類器、および異なる容量の画素レベルアップサンプラーのセットで構成されています。画素レベル分類器は、各画素の復元難易度に基づいて適切なアップサンプラーに割り当てることで、計算資源の使用を最適化します。我々の手法により、再トレーニングすることなく、推論時の性能と計算コストのバランスを取ることができます。我々の実験では、異なるバックボーンモデルとベンチマークにおいて、既存のパッチ配分手法に対するPCSRのPSNR - FLOPトレードオフの優位性が実証されています。

📦 インストール

依存関係

Python 3.7
Pytorch 1.13
NVIDIA GPU + CUDA
Pythonパッケージ: pip install numpy opencv-python pandas tqdm fast_pytorch_kmeans

💻 使用例

デモ

単一の入力低解像度（LR）画像に対して4倍の超解像を行うデモを提供しています（4倍の拡大と.png形式のみサポート）。

まず、リポジトリをクローンします。

git clone https://huggingface.co/3587jjh/pcsr_carn

次に、LR画像のパスと出力パスを指定します。

python demo.py --lr_path comic.png --output_path results

出力例: flops: 66.3G (63.6 %) | max_flops: 104.1G (100 %)

詳細なデモと情報については、GitHubページを参照してください。

📚 引用

@inproceedings{jeong2025accelerating,
  title={Accelerating Image Super-Resolution Networks with Pixel-Level Classification},
  author={Jeong, Jinho and Kim, Jinwoo and Jo, Younghyun and Kim, Seon Joo},
  booktitle={European Conference on Computer Vision},
  pages={236--251},
  year={2025},
  organization={Springer}
}