Directsam 1800px 0424

🚀 Direct Segment Anything Model (DirectSAM)

論文「Subobject-level Image Tokenizationにおける画像セグメンテーションモデルで、サブオブジェクトレベルの画像トークン化を実現します。

🚀 クイックスタート

Direct Segment Anything Model (DirectSAM) は、Delong Chen、Samuel Cahyawijaya、Jianfeng Liu、Baoyuan Wang、および Pascale Fungによる論文「Subobject-level Image Tokenizationで提案されたモデルです。

✨ 主な機能

• 境界検出：画像内の物体の境界を高精度に検出します。
• エッジ推定：物体のエッジを正確に推定します。
• 画像セグメンテーション：画像をセグメント化し、物体を識別します。

🔧 技術詳細

モデル

• バックボーンとしてSegformerを使用しており、合計8460万個のパラメータを持っています。
• 最終的なマルチウェイ分類器をワンウェイ分類器に置き換え、全パラメータの微調整を行っています。

データ

• DirectSAMの学習にはSA - 1Bデータセットを使用しています。
• マスクアノテーションは、opencvで実装された輪郭検出を実行し、抽出された輪郭を線幅3で描画することで境界に変換されます。
• 確率0.25でランダムなガウシアンブラーが適用されます。

学習

• DirectSAMは、SA - 1Bデータセットを使用して、シングルノードの8xNVIDIA A100 (80GB)サーバー上で学習されます。
• まず、入力解像度1024x1024で1エポック学習し、次に1800x1800解像度（80GB GPUでのデータ並列学習の最大解像度）でさらに0.6エポック学習します。
• 最初の1024x1024エポックでは、GPUあたりのバッチサイズを4、勾配累積ステップを4、学習率を4e - 4としています。
• 2番目の1800x1800エポックでは、GPUあたりのバッチサイズを1、勾配累積ステップを8、学習率を2e - 4としています。
• これらの2つのエポックはそれぞれ約15日と20日かかります。

📚 ドキュメント

詳細情報については、GitHubリポジトリを参照してください。