Slimsam Uniform 77

🚀 SlimSAM: 0.1% のデータでセグメントエブリシングをスリム化

SlimSAM は、事前学習されたSAMを大規模な再学習なしに効率的に再利用する、新しいSAM圧縮手法です。これは、統一されたプルーニング - 蒸留フレームワークを通じて事前学習されたSAMを効率的に再利用することで実現されます。元のSAMからの知識継承を強化するために、我々は圧縮プロセスを段階的な手順に分割する革新的な交互スリミング戦略を採用しています。従来のプルーニング手法とは異なり、我々は切り離されたモデル構造を交互に注意深くプルーニングし、蒸留します。さらに、新しいラベルフリーのプルーニング基準も提案されており、プルーニングの目的を最適化ターゲットに合わせることで、プルーニング後の蒸留性能を向上させています。

SlimSAMは、元のSAM - Hと比較して、パラメータ数を0.9% (570万)、MACsを**0.8% (21G)に削減し、わずか0.1% (1万)**の学習データしか必要とせず、同等の性能を達成します。広範な実験により、我々の手法は他のSAM圧縮手法と比較して、10倍以上少ない学習データを使用しながら、大幅に優れた性能を実現することが示されています。

🚀 クイックスタート

SlimSAMは、事前学習されたSAMを効率的に再利用することで、大規模な再学習を必要とせずにSAMを圧縮する新しい手法です。以下に、このプロジェクトの概要と使用方法を紹介します。

✨ 主な機能

• 事前学習されたSAMを大規模な再学習なしに効率的に再利用する。
• 統一されたプルーニング - 蒸留フレームワークを通じて圧縮を実現する。
• 革新的な交互スリミング戦略を用いて、知識継承を強化する。
• 新しいラベルフリーのプルーニング基準を提案し、プルーニング後の蒸留性能を向上させる。
• 元のSAM - Hと比較して、パラメータ数、MACs、学習データ量を大幅に削減しながら、同等の性能を達成する。

📦 インストール

このセクションではインストールに関する内容が原READMEに記載されていないため、省略します。

💻 使用例

基本的な使用法

ローカルの均一プルーニングSlimSAM - 50モデルの高速state_dictロード:

model = SamModel.from_pretrained("Zigeng/SlimSAM-uniform-77").to("cuda")
processor = SamProcessor.from_pretrained("Zigeng/SlimSAM-uniform-77")

img_url = "https://huggingface.co/ybelkada/segment-anything/resolve/main/assets/car.png"
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert("RGB")
input_points = [[[450, 600]]] # 2D localization of a window
inputs = processor(raw_image, input_points=input_points, return_tensors="pt").to("cuda")
outputs = model(**inputs)
masks = processor.image_processor.post_process_masks(outputs.pred_masks.cpu(), inputs["original_sizes"].cpu(), inputs["reshaped_input_sizes"].cpu())
scores = outputs.iou_scores

📚 ドキュメント

論文情報

0.1% Data Makes Segment Anything Slim
Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang
Learning and Vision Lab, National University of Singapore
論文: [Arxiv] コード: [GitHub]

引用情報

本研究のSlimSAMのBibTeX

もしあなたの研究でSlimSAMを使用する場合は、以下のBibTeXエントリを使用してください。ありがとうございます！

@misc{chen202301,
      title={0.1% Data Makes Segment Anything Slim}, 
      author={Zigeng Chen and Gongfan Fang and Xinyin Ma and Xinchao Wang},
      year={2023},
      eprint={2312.05284},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

関連研究の引用

@article{kirillov2023segany,
  title={Segment Anything}, 
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan-Yen and Doll{\'a}r, Piotr and Girshick, Ross},
  journal={arXiv:2304.02643},
  year={2023}
}

@inproceedings{fang2023depgraph,
  title={Depgraph: Towards any structural pruning},
  author={Fang, Gongfan and Ma, Xinyin and Song, Mingli and Mi, Michael Bi and Wang, Xinchao},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={16091--16101},
  year={2023}
}

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で公開されています。