Pmc Vit L 14 Hf

🚀 clip-vit-l-14-pmc-finetuned

本模型是 openai/clip-vit-large-patch14 在 pmc_oa (https://huggingface.co/datasets/axiong/pmc_oa) 数据集上的微调版本。它在评估集上取得了以下结果：

• 损失值：1.0125

🚀 快速开始

微调模型

可以使用 run_clip.py (https://github.com/huggingface/transformers/tree/main/examples/pytorch/contrastive-image-text) 脚本对该模型进行微调，示例命令如下：

python -W ignore run_clip.py --model_name_or_path openai/clip-vit-large-patch14 \
      --output_dir ./clip-vit-l-14-pmc-finetuned \
      --train_file data/pmc_roco_train.csv \
      --validation_file data/pmc_roco_valid.csv \
      --image_column image --caption_column caption \
      --max_seq_length 77 \
      --do_train --do_eval \
      --per_device_train_batch_size 16 --per_device_eval_batch_size 8 \
      --remove_unused_columns=False \
      --learning_rate="5e-5" --warmup_steps="0" --weight_decay 0.1 \
      --overwrite_output_dir  \
      --num_train_epochs 10 \
      --logging_dir ./pmc_vit_logs \
      --save_total_limit 2 \
      --report_to  tensorboard

模型使用

以下是使用该模型的示例代码：

from PIL import Image
import requests

from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("ryanyip7777/pmc_vit-l-14_hf")
processor = CLIPProcessor.from_pretrained("ryanyip7777/pmc_vit-l-14_hf")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # 这是图像 - 文本相似度得分
probs = logits_per_image.softmax(dim=1) # 可以使用softmax函数得到标签概率

✨ 主要特性

• 基于预训练的 openai/clip-vit-large-patch14 模型进行微调，能更好地适应 pmc_oa 数据集。
• 在评估集上有明确的损失值指标，可用于衡量模型性能。

📦 安装指南

文档未提及安装相关内容，故跳过此章节。

📚 详细文档

模型描述

此模型是 openai/clip-vit-large-patch14 在 pmc_oa 数据集上微调后的版本，但更多详细信息待补充。

预期用途与限制

关于模型的预期用途和限制，更多信息待补充。

训练和评估数据

关于训练和评估数据的更多信息待补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：16
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学习率调度器类型：线性
• 训练轮数：10.0

框架版本

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.13.3

🔧 技术细节

文档未提供足够详细的技术实现细节，故跳过此章节。

📄 许可证

文档未提及许可证信息，故跳过此章节。