Coin Clip Vit Base Patch32

🚀 Coin-CLIP 🪙 : 借助CLIP提升硬币图像检索能力

Coin-CLIP是一款专门用于硬币图像检索的模型。它基于OpenAI的CLIP模型，在大量硬币图像数据上微调，能更准确地提取硬币图像特征，实现高效的以图搜图。

✨ 主要特性

• 最先进的硬币图像检索技术；
• 增强了硬币图像的特征提取能力；
• 无缝集成CLIP的多模态学习能力。

📦 安装指南

安装Python库

pip install coin_clip

💻 使用示例

基础用法

from PIL import Image
import requests

import torch.nn.functional as F
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("breezedeus/coin-clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("breezedeus/coin-clip-vit-base-patch32")

image_fp = "path/to/coin_image.jpg"
image = Image.open(image_fp).convert("RGB")

inputs = processor(images=image, return_tensors="pt")
img_features = model.get_image_features(**inputs)
img_features = F.normalize(img_features, dim=1)

高级用法

from coin_clip import CoinClip

# Automatically download the model from Huggingface
model = CoinClip(model_name='breezedeus/coin-clip-vit-base-patch32')
images = ['examples/10_back.jpg', 'examples/16_back.jpg']
img_feats, success_ids = model.get_image_features(images)
print(img_feats.shape)  # --> (2, 512)

📚 详细文档

• 基础模型：openai/clip-vit-base-patch32
• 更多示例：breezedeus/Coin-CLIP: Coin CLIP

🔧 技术细节

本模型（Coin-CLIP）在 OpenAI 的 CLIP (ViT-B/32) 模型基础上，利用对比学习技术在超过 340,000 张硬币图片数据上微调得到。模型结合了视觉变换器（ViT）的强大功能和 CLIP 的多模态学习能力，并专门针对硬币图片进行了优化。

训练数据

本模型使用的是专门的硬币图像数据集进行训练。这个数据集包含了多种货币的硬币图片。

训练过程

模型是在 OpenAI 的 CLIP (ViT-B/32) 预训练模型的基础上，使用硬币图像数据集进行微调。训练过程采用了对比学习的微调技巧和参数设置。

效果对比

示例 1（左：Coin-CLIP；右：CLIP）

示例 2（左：Coin-CLIP；右：CLIP）

更多示例可参考：breezedeus/Coin-CLIP: Coin CLIP 。

使用和限制

⚠️ 重要提示

由于模型是针对硬币图像进行训练的，因此在处理非硬币图像时可能效果不佳。

• 用途：此模型主要用于提取硬币图片的表示向量，以实现在硬币图像库中进行高效、精确的以图搜图。
• 限制：不适合处理非硬币图像。

📄 许可证

本模型采用 apache-2.0 许可证。

反馈

欢迎联系作者 Breezedeus 提出问题或建议。