🚀 clip-vit-l-14-pmc-finetuned
本模型是 openai/clip-vit-large-patch14 在 pmc_oa (https://huggingface.co/datasets/axiong/pmc_oa) 数据集上的微调版本。它在评估集上取得了以下结果:
🚀 快速开始
微调模型
可以使用 run_clip.py (https://github.com/huggingface/transformers/tree/main/examples/pytorch/contrastive-image-text) 脚本对该模型进行微调,示例命令如下:
python -W ignore run_clip.py --model_name_or_path openai/clip-vit-large-patch14 \
--output_dir ./clip-vit-l-14-pmc-finetuned \
--train_file data/pmc_roco_train.csv \
--validation_file data/pmc_roco_valid.csv \
--image_column image --caption_column caption \
--max_seq_length 77 \
--do_train --do_eval \
--per_device_train_batch_size 16 --per_device_eval_batch_size 8 \
--remove_unused_columns=False \
--learning_rate="5e-5" --warmup_steps="0" --weight_decay 0.1 \
--overwrite_output_dir \
--num_train_epochs 10 \
--logging_dir ./pmc_vit_logs \
--save_total_limit 2 \
--report_to tensorboard
模型使用
以下是使用该模型的示例代码:
from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained("ryanyip7777/pmc_vit-l-14_hf")
processor = CLIPProcessor.from_pretrained("ryanyip7777/pmc_vit-l-14_hf")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image
probs = logits_per_image.softmax(dim=1)
✨ 主要特性
- 基于预训练的
openai/clip-vit-large-patch14
模型进行微调,能更好地适应 pmc_oa 数据集。
- 在评估集上有明确的损失值指标,可用于衡量模型性能。
📦 安装指南
文档未提及安装相关内容,故跳过此章节。
📚 详细文档
模型描述
此模型是 openai/clip-vit-large-patch14
在 pmc_oa 数据集上微调后的版本,但更多详细信息待补充。
预期用途与限制
关于模型的预期用途和限制,更多信息待补充。
训练和评估数据
关于训练和评估数据的更多信息待补充。
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率:5e-05
- 训练批次大小:16
- 评估批次大小:8
- 随机种子:42
- 优化器:Adam(β1 = 0.9,β2 = 0.999,ε = 1e-08)
- 学习率调度器类型:线性
- 训练轮数:10.0
框架版本
- Transformers 4.31.0
- Pytorch 2.0.1
- Datasets 2.14.4
- Tokenizers 0.13.3
🔧 技术细节
文档未提供足够详细的技术实现细节,故跳过此章节。
📄 许可证
文档未提及许可证信息,故跳过此章节。