Thesis Clip Geoloc Continent

🚀 Thesis-CLIP-geoloc-continent

CLIP-ViTモデルを画像の地理的位置特定にファインチューニングしたもので、大陸レベルのクエリに最適化されています。

🚀 クイックスタート

CLIP-ViTモデルを画像の地理的位置特定にファインチューニングしたもので、大陸レベルのクエリに最適化されています。

from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("jrheiner/thesis-clip-geoloc-continent")
processor = CLIPProcessor.from_pretrained("jrheiner/thesis-clip-geoloc-continent")

url = "https://huggingface.co/spaces/jrheiner/thesis-demo/resolve/main/kerger-test-images/Oceania_Australia_-32.947127313081_151.47903359833_kerger.jpg"
image = Image.open(requests.get(url, stream=True).raw)
choices = ["North America", "Africa", "Asia", "Oceania", "South America", "Europe"]
inputs = processor(text=choices, images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

✨ 主な機能

CLIP-ViTモデルを画像の地理的位置特定にファインチューニングし、大陸レベルのクエリに最適化。

📚 ドキュメント

モデルの詳細

• 開発者: jrheiner
• モデルの種類: CLIP-ViT
• 言語 (NLP): 英語
• ライセンス: Creative Commons Attribution Non Commercial 4.0
• ファインチューニング元のモデル: openai/clip-vit-large-patch14-336

モデルのソース

• リポジトリ: https://github.com/jrheiner/thesis-appendix
• デモ: Image Geolocation Demo Space

訓練の詳細

このモデルは、Mapillaryから取得した177,270枚の画像（各大陸につき29,545枚）でファインチューニングされました。

📄 ライセンス

Creative Commons Attribution Non Commercial 4.0