Pmc Vit L 14

🚀 開放剪輯文本到圖像模型

本項目是一個文本到圖像的模型，基於開放剪輯（open_clip）庫，使用生物、化學、醫學相關的數據集進行微調，可用於相關領域的圖文關聯任務。

🚀 快速開始

本模型基於openai的ViT - L - 14進行微調，使用了PMC_OA_beta和roco的數據集，藉助open_clip（https://github.com/mlfoundations/open_clip）工具完成微調。

📦 安裝指南

文檔未提及安裝步驟，暫無法提供。

💻 使用示例

基礎用法

# 由於原文檔未提供基礎使用示例代碼，此處無法展示

高級用法

# 原文檔未提及高級使用場景說明
# 訓練模型的代碼
python -m training.main \
    --save-frequency 2 \
    --zeroshot-frequency 1 \
    --report-to tensorboard \
    --train-data="/home/data1/ryanyip/huggingface-models/pmc_oa_beta/train.csv"  \
    --val-data="/home/data1/ryanyip/huggingface-models/pmc_oa_beta/sample_valid.csv"  \
    --csv-separator "," \
    --csv-img-key image \
    --csv-caption-key caption \
    --warmup 10000 \
    --batch-size=128 \
    --lr=1e-5 \
    --wd=0.2 \
    --epochs=30 \
    --workers=8 \
    --model "ViT-L-14" \
    --name "pmc_vit_l_14" \
    --pretrained  "ViT-L-14_state_dict.pt" \
    --save-most-recent

ViT-L-14_state_dict.pt是來自openai/ViT-L-14的預訓練權重

📚 詳細文檔