Thesis Clip Geoloc Continent

🚀 Thesis-CLIP-geoloc-continent模型

Thesis-CLIP-geoloc-continent是一个经过微调的CLIP-ViT模型，专门用于图像地理定位任务，尤其在大陆级别的查询中表现出色。

🚀 快速开始

以下是使用该模型进行图像地理定位的示例代码：

from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("jrheiner/thesis-clip-geoloc-continent")
processor = CLIPProcessor.from_pretrained("jrheiner/thesis-clip-geoloc-continent")

url = "https://huggingface.co/spaces/jrheiner/thesis-demo/resolve/main/kerger-test-images/Oceania_Australia_-32.947127313081_151.47903359833_kerger.jpg"
image = Image.open(requests.get(url, stream=True).raw)
choices = ["North America", "Africa", "Asia", "Oceania", "South America", "Europe"]
inputs = processor(text=choices, images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities

✨ 主要特性

• 基于CLIP-ViT架构，专为图像地理定位任务进行微调。
• 针对大陆级别的查询进行了优化。

📚 详细文档

模型详情

模型资源

• 仓库地址：https://github.com/jrheiner/thesis-appendix
• 演示地址：图像地理定位演示空间

🔧 技术细节

该模型在从Mapillary获取的177,270张图像（每个大陆29,545张）上进行了微调。

📄 许可证

本模型采用知识共享署名-非商业性使用 4.0国际许可协议（Creative Commons Attribution Non Commercial 4.0）。