Thesis Clip Geoloc Continent

🚀 Thesis-CLIP-geoloc-continent模型

Thesis-CLIP-geoloc-continent是一個經過微調的CLIP-ViT模型，專門用於圖像地理定位任務，尤其在大陸級別的查詢中表現出色。

🚀 快速開始

以下是使用該模型進行圖像地理定位的示例代碼：

from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("jrheiner/thesis-clip-geoloc-continent")
processor = CLIPProcessor.from_pretrained("jrheiner/thesis-clip-geoloc-continent")

url = "https://huggingface.co/spaces/jrheiner/thesis-demo/resolve/main/kerger-test-images/Oceania_Australia_-32.947127313081_151.47903359833_kerger.jpg"
image = Image.open(requests.get(url, stream=True).raw)
choices = ["North America", "Africa", "Asia", "Oceania", "South America", "Europe"]
inputs = processor(text=choices, images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

✨ 主要特性

• 基於CLIP-ViT架構，專為圖像地理定位任務進行微調。
• 針對大陸級別的查詢進行了優化。

📚 詳細文檔

模型詳情

模型資源

• 倉庫地址：https://github.com/jrheiner/thesis-appendix
• 演示地址：圖像地理定位演示空間

🔧 技術細節

該模型在從Mapillary獲取的177,270張圖像（每個大陸29,545張）上進行了微調。

📄 許可證

本模型採用知識共享署名-非商業性使用 4.0國際許可協議（Creative Commons Attribution Non Commercial 4.0）。