Tinyclip ViT 8M 16 Text 3M YFCC15M

🚀 TinyCLIP：通過親和度模仿和權重繼承實現CLIP蒸餾

TinyCLIP 是一種針對大規模語言 - 圖像預訓練模型的新型 跨模態蒸餾 方法。該方法引入了兩項核心技術：親和度模仿 和 權重繼承。這項工作釋放了小型CLIP模型的潛力，充分利用大規模模型以及預訓練數據，在速度和準確性之間取得了最佳平衡。

🚀 快速開始

使用Transformers庫調用模型

from PIL import Image
import requests

from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M")
processor = CLIPProcessor.from_pretrained("wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

✨ 主要特性

• TinyCLIP ViT - 45M/32僅使用ViT - B/32 一半的參數，卻能實現 相當的零樣本性能。
• TinyCLIP ResNet - 19M將參數減少了 50%，同時推理速度提高了 2倍，並在ImageNet上獲得了 56.4% 的準確率。

📚 詳細文檔

模型庫

注意：具有自動繼承功能的模型配置是自動生成的。

官方PyTorch實現

點擊查看

引用

如果本倉庫對你有幫助，請考慮引用它。非常感謝！

@InProceedings{tinyclip,
    title     = {TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance},
    author    = {Wu, Kan and Peng, Houwen and Zhou, Zhenghong and Xiao, Bin and Liu, Mengchen and Yuan, Lu and Xuan, Hong and Valenzuela, Michael and Chen, Xi (Stephen) and Wang, Xinggang and Chao, Hongyang and Hu, Han},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
    month     = {October},
    year      = {2023},
    pages     = {21970-21980}
}

致謝

我們的代碼基於 CLIP、OpenCLIP、CoFi 和 PyTorch。感謝貢獻者們的傑出貢獻！

📄 許可證

• 許可證鏈接