Coin Clip Vit Base Patch32

🚀 Coin-CLIP 🪙 : 藉助CLIP提升硬幣圖像檢索能力

Coin-CLIP是一款專門用於硬幣圖像檢索的模型。它基於OpenAI的CLIP模型，在大量硬幣圖像數據上微調，能更準確地提取硬幣圖像特徵，實現高效的以圖搜圖。

✨ 主要特性

• 最先進的硬幣圖像檢索技術；
• 增強了硬幣圖像的特徵提取能力；
• 無縫集成CLIP的多模態學習能力。

📦 安裝指南

安裝Python庫

pip install coin_clip

💻 使用示例

基礎用法

from PIL import Image
import requests

import torch.nn.functional as F
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("breezedeus/coin-clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("breezedeus/coin-clip-vit-base-patch32")

image_fp = "path/to/coin_image.jpg"
image = Image.open(image_fp).convert("RGB")

inputs = processor(images=image, return_tensors="pt")
img_features = model.get_image_features(**inputs)
img_features = F.normalize(img_features, dim=1)

高級用法

from coin_clip import CoinClip

# Automatically download the model from Huggingface
model = CoinClip(model_name='breezedeus/coin-clip-vit-base-patch32')
images = ['examples/10_back.jpg', 'examples/16_back.jpg']
img_feats, success_ids = model.get_image_features(images)
print(img_feats.shape)  # --> (2, 512)

📚 詳細文檔

• 基礎模型：openai/clip-vit-base-patch32
• 更多示例：breezedeus/Coin-CLIP: Coin CLIP

🔧 技術細節

本模型（Coin-CLIP）在 OpenAI 的 CLIP (ViT-B/32) 模型基礎上，利用對比學習技術在超過 340,000 張硬幣圖片數據上微調得到。模型結合了視覺變換器（ViT）的強大功能和 CLIP 的多模態學習能力，並專門針對硬幣圖片進行了優化。

訓練數據

本模型使用的是專門的硬幣圖像數據集進行訓練。這個數據集包含了多種貨幣的硬幣圖片。

訓練過程

模型是在 OpenAI 的 CLIP (ViT-B/32) 預訓練模型的基礎上，使用硬幣圖像數據集進行微調。訓練過程採用了對比學習的微調技巧和參數設置。

效果對比

示例 1（左：Coin-CLIP；右：CLIP）

示例 2（左：Coin-CLIP；右：CLIP）

更多示例可參考：breezedeus/Coin-CLIP: Coin CLIP 。

使用和限制

⚠️ 重要提示

由於模型是針對硬幣圖像進行訓練的，因此在處理非硬幣圖像時可能效果不佳。

• 用途：此模型主要用於提取硬幣圖片的表示向量，以實現在硬幣圖像庫中進行高效、精確的以圖搜圖。
• 限制：不適合處理非硬幣圖像。

📄 許可證

本模型採用 apache-2.0 許可證。

反饋

歡迎聯繫作者 Breezedeus 提出問題或建議。