Tinyclip ViT 8M 16 Text 3M YFCC15M

🚀 TinyCLIP: 類似度模倣と重み継承によるCLIP蒸留

TinyCLIPは、大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留手法です。この手法には、類似度模倣と重み継承という2つの核心技術が導入されています。この研究により、小規模なCLIPモデルの能力が引き出され、大規模モデルや事前学習データが十分に活用され、速度と精度のバランスが最適化されます。

🚀 クイックスタート

💻 使用例

基本的な使用法

from PIL import Image
import requests

from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M")
processor = CLIPProcessor.from_pretrained("wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

✨ 主な機能

• TinyCLIP ViT - 45M/32は、ViT - B/32の半分のパラメータしか使用せずに、同等のゼロショット性能を達成します。
• TinyCLIP ResNet - 19Mは、パラメータを50%削減しながら、推論速度を2倍に向上させ、ImageNetで**56.4%**の精度を達成します。

📚 ドキュメント

モデル一覧

注: 自動継承のモデルの設定は自動生成されています。

🔧 技術詳細

公式PyTorch実装

https://github.com/microsoft/Cream/tree/main/TinyCLIP

引用

このリポジトリが役に立った場合は、引用を検討してください。ありがとうございます！

@InProceedings{tinyclip,
    title     = {TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance},
    author    = {Wu, Kan and Peng, Houwen and Zhou, Zhenghong and Xiao, Bin and Liu, Mengchen and Yuan, Lu and Xuan, Hong and Valenzuela, Michael and Chen, Xi (Stephen) and Wang, Xinggang and Chao, Hongyang and Hu, Han},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
    month     = {October},
    year      = {2023},
    pages     = {21970-21980}
}

謝辞

当社のコードは、CLIP、OpenCLIP、CoFi、PyTorchに基づいています。貢献者の素晴らしい貢献に感謝します！

📄 ライセンス

• ライセンス