Quiltnet B 16 PMB

🚀 QuiltNet-B-16-PMB

QuiltNet-B-16-PMB是一個基於視覺語言的基礎模型，結合了ViT-B/16圖像塔和PubMedBERT文本塔。它在從代表性組織病理學視頻中精心策劃的Quilt-1M數據集上進行訓練，可執行跨模態檢索、圖像分類和視覺問答等多種視覺語言處理（VLP）任務。

🚀 快速開始

你可以通過以下示例快速體驗模型的零樣本圖像分類功能：

組織表型分析

候選標籤：adipose tissue, debris tissue, lymphocytes tissue, mucus tissue, smooth muscle tissue, normal colon mucosa tissue, cancer-associated stroma tissue, colorectal adenocarcinoma epithelium tissue

鱗狀細胞癌組織病理學分析

候選標籤：adenocarcinoma histopathology, squamous cell carcinoma histopathology

腺癌組織病理學分析

候選標籤：adenocarcinoma histopathology, squamous cell carcinoma histopathology

✨ 主要特性

• 廣泛的任務支持：能夠執行跨模態檢索、圖像分類和視覺問答等多種視覺語言處理（VLP）任務。
• 優異的性能表現：在各種標準數據集上建立了新的技術水平，顯著優於先前的VLP方法。

📚 詳細文檔

引用信息

如果你使用了該模型，請引用以下文獻：

@misc{ikezogwo2023quilt1m,
      title={Quilt-1M: One Million Image-Text Pairs for Histopathology}, 
      author={Wisdom Oluchi Ikezogwo and Mehmet Saygin Seyfioglu and Fatemeh Ghezloo and Dylan Stefan Chan Geva and Fatwir Sheikh Mohammed and Pavan Kumar Anand and Ranjay Krishna and Linda Shapiro},
      year={2023},
      eprint={2306.11207},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

用途說明

直接用途

零樣本圖像分類、圖像和文本檢索等。

下游用途

圖像分類和其他圖像任務的微調、線性探針圖像分類、圖像生成的引導和條件設置等。

預期用途

該模型旨在作為研究成果供研究社區使用。我們希望該模型能夠幫助研究人員更好地理解和探索零樣本、任意圖像分類。同時，我們也希望它能用於跨學科研究，探討此類模型的潛在影響。

主要預期用戶

這些模型的主要預期用戶是人工智能研究人員。

我們主要設想研究人員將使用該模型來更好地理解計算機視覺組織病理學模型的魯棒性、泛化能力以及其他能力、偏差和侷限性。

超出範圍的用例

任何模型的部署用例（無論是否商業用途）目前都超出了範圍。非部署用例，如在受限環境中的圖像搜索，也不建議使用，除非對模型進行了特定、固定類別的分類法的全面領域內測試。

由於該模型未針對英語以外的任何語言進行專門訓練或評估，其使用應限於英語用例。

此外，用於訓練這些模型的Quilt-1M數據集還有其他注意事項，請見下文。

訓練數據

該模型使用QUILT-1M進行訓練，這是一個用於組織病理學的圖像文本數據集。

QUILT-1M從YouTube上的教育視頻中精心策劃，為組織病理學的視覺語言建模貢獻了最大的數據集。

⚠️ 重要提示

創建該數據集的動機是為了推動圍繞大規模多模態模型訓練以及處理從公開互聯網爬取的未整理的大規模組織病理學數據集的研究和實驗。因此，我們建議將該數據集用於研究目的。

評估

使用CLIP Benchmark suite中的代碼進行評估，評估結果可在論文中找到，涵蓋了一系列不同的組織學任務和數據集。

免責聲明

需要注意的是，從該功能獲得的結果無意構成醫療建議，也不能替代與合格醫療專業人員的諮詢。使用該功能完全由你自行承擔風險，並且應符合適用的法律、法規和道德考慮。我們不保證該功能對於任何特定目的的準確性、完整性、適用性或有用性，並且在此聲明不承擔因依賴該功能或使用其獲得的任何結果而產生的任何責任。

隱私政策

根據YouTube的隱私政策，我們僅重新分發視頻ID數據。 嚴格禁止重新分發除視頻ID以外的任何內容。 任何分發行為都必須遵守你所在司法管轄區適用的法律法規，包括出口管制法律和禁運規定。

📄 許可證

本項目採用MIT許可證。