Directsam 1800px 0424

🚀 Direct Segment Anything Model (DirectSAM)

DirectSAM是論文“Subobject-level Image Tokenization”中提出的模型，論文作者包括Delong Chen、Samuel Cahyawijaya、Jianfeng Liu、Baoyuan Wang和Pascale Fung。該模型主要用於邊界檢測、邊緣估計和圖像分割等任務。

🚀 快速開始

若想了解更多關於DirectSAM的詳細信息，請訪問我們的 GitHub倉庫。

✨ 主要特性

• 模型架構：採用 Segformer 作為骨幹網絡，該網絡共有8460萬個參數。將最終的多路分類器替換為單路分類器，並進行全參數微調。
• 訓練數據：使用SA - 1B數據集來訓練DirectSAM。通過運行OpenCV實現的輪廓檢測，將掩碼註釋轉換為邊界，並以線寬為3繪製提取的輪廓。以0.25的概率應用隨機高斯模糊。
• 訓練過程：在單節點8xNVIDIA A100（80GB）服務器上的SA - 1B數據集上訓練DirectSAM。首先以1024x1024的輸入分辨率訓練一個epoch，然後以1800x1800的分辨率（80GB GPU上進行數據並行訓練的最大分辨率）再訓練0.6個epoch。對於第一個1024x1024的epoch，每個GPU的批量大小為4，梯度累積步數為4，學習率為4e - 4。對於第二個1800x1800的epoch，每個GPU的批量大小為1，梯度累積步數為8，學習率為2e - 4。這兩個階段分別大約需要15天和20天。

📚 詳細文檔

模型詳情

我們使用 Segformer 作為骨幹網絡，其參數總量為84.6M。我們對其進行了修改，將最終的多路分類器替換為單路分類器，並進行全參數微調。

數據詳情

使用SA - 1B數據集訓練DirectSAM。具體處理步驟如下：

1. 通過運行OpenCV實現的輪廓檢測，將掩碼註釋轉換為邊界。
2. 以線寬為3繪製提取的輪廓。
3. 以0.25的概率應用隨機高斯模糊。

訓練詳情

在單節點8xNVIDIA A100（80GB）服務器的SA - 1B數據集上訓練DirectSAM，具體訓練過程如下：