Vit Msn Base 4

🚀 視覺變換器（基礎大小模型），使用MSN方法預訓練（補丁大小為4）

視覺變換器（ViT）模型使用MSN方法進行了預訓練。該模型在Mahmoud Assran、Mathilde Caron、Ishan Misra、Piotr Bojanowski、Florian Bordes、Pascal Vincent、Armand Joulin、Michael Rabbat、Nicolas Ballas等人撰寫的論文用於標籤高效學習的掩碼孿生網絡中被首次提出，並在這個倉庫中首次發佈。

免責聲明：發佈MSN的團隊並未為該模型撰寫模型卡片，此模型卡片由Hugging Face團隊編寫。

🚀 快速開始

本模型是使用MSN方法預訓練的視覺變換器（ViT），可用於圖像分類等下游任務。若訓練集中標註樣本較少，該模型將發揮顯著優勢。你可以在模型中心查找感興趣的不同版本的MSN預訓練模型。

✨ 主要特性

• 聯合嵌入架構：MSN採用聯合嵌入架構，使掩碼補丁的原型與未掩碼補丁的原型相匹配，在少樣本和極少樣本情況下表現出色。
• 特徵提取：通過預訓練，模型學習到圖像的內部表示，可用於提取對下游任務有用的特徵。
• 低樣本適應性：當訓練集中標註樣本較少時，該模型能展現出較好的性能。

📚 詳細文檔

模型描述

視覺變換器（ViT）是一種類似BERT的變壓器編碼器模型。圖像以固定大小的補丁序列形式輸入到模型中。

MSN提出了一種聯合嵌入架構，用於匹配掩碼補丁和未掩碼補丁的原型。通過這種設置，該方法在少樣本和極少樣本情況下都能取得出色的性能。

通過對模型進行預訓練，它學習到圖像的內部表示，這些表示可用於提取對下游任務有用的特徵。例如，如果你有一個標註圖像的數據集，可以在預訓練編碼器的基礎上添加一個線性層，訓練一個標準的分類器。

預期用途與限制

你可以將原始模型用於圖像分類等下游任務。請查看模型中心，查找你感興趣的不同版本的MSN預訓練模型。當訓練集中標註樣本較少時，該模型特別有用。

💻 使用示例

基礎用法

以下是如何使用此骨幹編碼器的示例代碼：

from transformers import AutoFeatureExtractor, ViTMSNModel
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/vit-msn-base-4")
model = ViTMSNModel.from_pretrained("facebook/vit-msn-base-4")
inputs = feature_extractor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

高級用法

若要對圖像分類進行微調，請使用ViTMSNForImageClassification類：

from transformers import AutoFeatureExtractor, ViTMSNForImageClassification
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/vit-msn-base-4")
model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base-4")

...

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

@article{assran2022masked,
  title={Masked Siamese Networks for Label-Efficient Learning}, 
  author={Assran, Mahmoud, and Caron, Mathilde, and Misra, Ishan, and Bojanowski, Piotr, and Bordes, Florian and Vincent, Pascal, and Joulin, Armand, and Rabbat, Michael, and Ballas, Nicolas},
  journal={arXiv preprint arXiv:2204.07141},
  year={2022}
}

📋 信息表格