Conceptclip

🚀 ConceptCLIP 模型卡片

ConceptCLIP 是一個針對多種醫學圖像模態，融入醫學概念進行增強的大規模視覺 - 語言預訓練模型。它通過概念增強的語言 - 圖像對齊，在多個醫學成像任務中實現了強大的性能。

🚀 快速開始

以下是使用 ConceptCLIP 模型的示例代碼：

from transformers import AutoModel, AutoProcessor
import torch
from PIL import Image

model = AutoModel.from_pretrained('JerrryNie/ConceptCLIP', trust_remote_code=True)
processor = AutoProcessor.from_pretrained('JerrryNie/ConceptCLIP', trust_remote_code=True)

image = Image.open('example_data/chest_X-ray.jpg').convert('RGB')
labels = ['chest X-ray', 'brain MRI', 'skin lesion']
texts = [f'a medical image of {label}' for label in labels]

inputs = processor(
    images=image, 
    text=texts,
    return_tensors='pt',
    padding=True,
    truncation=True
).to(model.device)

with torch.no_grad():
    outputs = model(**inputs)
    logits = (outputs['logit_scale'] * outputs['image_features'] @ outputs['text_features'].t()).softmax(dim=-1)[0]

print({label: f"{prob:.2%}" for label, prob in zip(labels, logits)})

✨ 主要特性

模型詳情

• 開發者：Yuxiang Nie, Sunan He, Yequan Bie, Yihui Wang, Zhixuan Chen, Shu Yang, Zhiyuan Cai, Hongmei Wang, Xi Wang, Luyang Luo, Mingxiang Wu, Xian Wu, Ronald Cheong Kin Chan, Yuk Ming Lau, Yefeng Zheng, Pranav Rajpurkar, Hao Chen
• 模型類型：視覺 - 語言預訓練模型（醫學專用）
• 語言支持：英語（文本），多模態（醫學成像）
• 許可證：MIT
• 微調基礎模型：基於 OpenCLIP

模型來源

• 倉庫地址：GitHub 項目
• 論文地址：An Explainable Biomedical Foundation Model via Large-Scale Concept-Enhanced Vision-Language Pre-training
• 演示地址：Hugging Face 模型中心

應用場景

直接應用

• 零樣本醫學圖像分類
• 跨模態檢索
• 零樣本概念標註
• 提取全切片圖像分析的特徵
• 提取醫學報告生成的特徵

下游應用

• 針對特定醫學成像任務（CT、MRI、X光分析）進行微調，用於分類和視覺問答
• 用於解釋的概念瓶頸模型
• 集成到臨床決策支持系統中
• 醫學教育和培訓工具

不適用場景

• 未經臨床驗證的直接臨床診斷
• 非醫學圖像分析
• 醫學領域之外的通用視覺任務

偏差、風險和侷限性

• 主要基於醫學成像數據進行訓練，可能存在人口統計學偏差
• 在不同的醫學成像模態上性能可能會有所不同
• 未經人工監督，不應作為唯一的診斷工具

建議

• 在進行醫學決策之前，與臨床專家一起驗證輸出結果
• 針對特定應用在特定領域的數據上進行微調
• 在新的臨床環境中部署時進行偏差分析

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

from transformers import AutoModel, AutoProcessor
import torch
from PIL import Image

model = AutoModel.from_pretrained('JerrryNie/ConceptCLIP', trust_remote_code=True)
processor = AutoProcessor.from_pretrained('JerrryNie/ConceptCLIP', trust_remote_code=True)

image = Image.open('example_data/chest_X-ray.jpg').convert('RGB')
labels = ['chest X-ray', 'brain MRI', 'skin lesion']
texts = [f'a medical image of {label}' for label in labels]

inputs = processor(
    images=image, 
    text=texts,
    return_tensors='pt',
    padding=True,
    truncation=True
).to(model.device)

with torch.no_grad():
    outputs = model(**inputs)
    logits = (outputs['logit_scale'] * outputs['image_features'] @ outputs['text_features'].t()).softmax(dim=-1)[0]

print({label: f"{prob:.2%}" for label, prob in zip(labels, logits)})

📚 詳細文檔

訓練詳情

訓練數據

• 包含概念信息的大規模醫學圖像 - 文本對

訓練過程

• 基於 OpenCLIP 架構，集成了醫學概念
• 以圖像 - 文本對齊（IT - 對齊）和區域 - 概念對齊（RC - 對齊）為目標進行預訓練

訓練超參數

• 基礎架構：SigLIP - ViT - 400M - 16 + PubMedBERT
• 訓練機制：混合精度訓練
• 批量大小：無 PC - 對齊時為 12,288，有 PC - 對齊時為 6,144
• 學習率：無 PC - 對齊時為 5e - 4，有 PC - 對齊時為 3e - 4

評估

測試數據與指標

測試數據

• 在多個開源醫學成像基準上進行評估，包括醫學圖像診斷、跨模態檢索、醫學視覺問答、醫學報告生成、全切片圖像分析和可解釋人工智能

🔧 技術細節

• 模型基於 OpenCLIP 架構構建，集成了醫學概念，通過圖像 - 文本對齊和區域 - 概念對齊目標進行預訓練。
• 訓練採用混合精度訓練，不同的訓練設置有不同的批量大小和學習率。

📄 許可證

本模型使用 MIT 許可證。

引用

BibTeX：

@article{nie2025conceptclip,
  title={An Explainable Biomedical Foundation Model via Large-Scale Concept-Enhanced Vision-Language Pre-training},
  author={Nie, Yuxiang and He, Sunan and Bie, Yequan and Wang, Yihui and Chen, Zhixuan and Yang, Shu and Cai, Zhiyuan and Wang, Hongmei and Wang, Xi and Luo, Luyang and Wu, Mingxiang and Wu, Xian and Chan, Ronald Cheong Kin and Lau, Yuk Ming and Zheng, Yefeng and Rajpurkar, Pranav and Chen, Hao},
  journal={arXiv preprint arXiv:2501.15579},
  year={2025}
}

APA： Nie, Y., He, S., Bie, Y., Wang, Y., Chen, Z., Yang, S., Cai, Z., Wang, H., Wang, X., Luo, L., Wu, M., Wu, X., Chan, R. C. K., Lau, Y. M., Zheng, Y., Rajpurkar, P., & Chen, H. (2025). An Explainable Biomedical Foundation Model via Large-Scale Concept-Enhanced Vision-Language Pre-training. arXiv preprint arXiv:2501.15579.

模型卡片聯繫方式

Yuxiang Nie: ynieae@connect.ust.hk