Coin Clip Vit Base Patch32

🚀 コインCLIP 🪙 : CLIPを用いたコイン画像検索の強化

コインCLIPは、CLIPの多モーダル学習能力を活用し、コイン画像の特徴抽出を強化することで、高精度なコイン画像検索を実現するモデルです。

🚀 クイックスタート

このモデルは主にコイン画像から表現ベクトルを抽出し、コイン画像データベース内で効率的かつ正確な画像検索を可能にします。

✨ 主な機能

• 最先端のコイン画像検索機能
• コイン画像の特徴抽出能力の向上
• CLIPの多モーダル学習とのシームレスな統合

📦 インストール

pip install coin_clip

💻 使用例

基本的な使用法

from PIL import Image
import requests

import torch.nn.functional as F
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("breezedeus/coin-clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("breezedeus/coin-clip-vit-base-patch32")

image_fp = "path/to/coin_image.jpg"
image = Image.open(image_fp).convert("RGB")

inputs = processor(images=image, return_tensors="pt")
img_features = model.get_image_features(**inputs)
img_features = F.normalize(img_features, dim=1)

高度な使用法

from coin_clip import CoinClip

# Automatically download the model from Huggingface
model = CoinClip(model_name='breezedeus/coin-clip-vit-base-patch32')
images = ['examples/10_back.jpg', 'examples/16_back.jpg']
img_feats, success_ids = model.get_image_features(images)
print(img_feats.shape)  # --> (2, 512)

📚 ドキュメント

• ベースモデル: openai/clip-vit-base-patch32

🔧 技術詳細

このモデル（Coin-CLIP）は、OpenAIの**CLIP (ViT-B/32)** モデルをベースに、340,000 枚以上のコイン画像データセットを用いて対照学習技術で微調整されています。この専用モデルは、コイン画像の特徴抽出能力を大幅に向上させ、より正確な画像検索を可能にするように設計されています。Coin-CLIPは、Visual Transformer (ViT) の強力な機能とCLIPの多モーダル学習能力を組み合わせ、コイン画像に特化して最適化されています。

效果对比

例1（左: Coin-CLIP; 右: CLIP）

例2（左: Coin-CLIP; 右: CLIP）

他の例はこちら: breezedeus/Coin-CLIP: Coin CLIP 。

訓練データ

このモデルは、専用のコイン画像データセットを使用して訓練されています。このデータセットには、様々な通貨のコイン画像が含まれています。

訓練プロセス

このモデルは、OpenAIのCLIP (ViT-B/32) 事前学習モデルをコイン画像データセットで微調整しています。訓練プロセスには、対照学習の微調整技術とパラメータ設定が含まれています。

性能

このモデルは、コイン画像検索タスクで優れた性能を発揮します。

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で公開されています。

フィードバック

モデルに関する質問やコメントは、作者 Breezedeus までお問い合わせください。

注意事項

⚠️ 重要提示

このモデルはコイン画像に特化して訓練されているため、非コイン画像に対しては性能が低下する可能性があります。

💡 使用建议

コイン画像検索エンジンを構築する際には、提供されているPythonライブラリ breezedeus/Coin-CLIP: Coin CLIP を使用すると、簡単に実装できます。