M3D CLIP

🚀 M3D-CLIP

M3D-CLIP是一個3D醫學CLIP模型，屬於M3D系列的研究成果。它通過在M3D-Cap數據集上使用對比損失來對齊視覺和語言，能夠為3D醫學圖像和文本檢索任務提供強大支持，同時其提取的圖像和文本特徵也可用於下游任務。

🚀 快速開始

device = torch.device("cuda") # or cpu

tokenizer = AutoTokenizer.from_pretrained(
    "GoodBaiBai88/M3D-CLIP",
    model_max_length=512,
    padding_side="right",
    use_fast=False
)
model = AutoModel.from_pretrained(
    "GoodBaiBai88/M3D-CLIP",
    trust_remote_code=True
)
model = model.to(device=device)

# Prepare your 3D medical image:
# 1. The image shape needs to be processed as 1*32*256*256, considering resize and other methods.
# 2. The image needs to be normalized to 0-1, considering Min-Max Normalization.
# 3. The image format needs to be converted to .npy 
# 4. Although we did not train on 2D images, in theory, the 2D image can be interpolated to the shape of 1*32*256*256 for input.
    
image_path = ""
input_txt = ""

text_tensor = tokenizer(input_txt, max_length=512, truncation=True, padding="max_length", return_tensors="pt")
input_id = text_tensor["input_ids"].to(device=device)
attention_mask = text_tensor["attention_mask"].to(device=device)
image = np.load(image_path).to(device=device)

with torch.inference_mode():
    image_features = model.encode_image(image)[:, 0]
    text_features = model.encode_text(input_id, attention_mask)[:, 0]

✨ 主要特性

1. 3D醫學圖像和文本檢索任務：可有效應用於3D醫學圖像與文本的檢索工作。
2. 強大的圖像和文本特徵：為下游任務提供對齊且強大的圖像和文本特徵。
3. 優秀的預訓練模型：文本對齊的視覺編碼器是視覺和多模態任務的優秀預訓練模型。

🔧 技術細節

M3D-CLIP的視覺編碼器使用3D ViT，處理的圖像大小為32256256，補丁大小為41616；語言編碼器則使用預訓練的BERT進行初始化。該模型通過在M3D-Cap數據集上的對比損失來對齊視覺和語言。

📄 許可證

本項目採用Apache-2.0許可證。

📚 詳細文檔

引用

如果您覺得本項目的工作對您有幫助，請考慮引用以下文獻：

@misc{bai2024m3d,
      title={M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models}, 
      author={Fan Bai and Yuxin Du and Tiejun Huang and Max Q. -H. Meng and Bo Zhao},
      year={2024},
      eprint={2404.00578},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

標籤與指標

• 標籤：3D medical CLIP、Image-text retrieval
• 指標：accuracy
• 任務類型：image-feature-extraction