Quiltnet B 16

🚀 QuiltNet-B-16

QuiltNet-B-16 は、代表的な病理組織学ビデオから収集された Quilt-1M データセットを使用して学習されたCLIP ViT-B/16のビジョン言語基礎モデルです。 このモデルは、クロスモーダル検索、画像分類、視覚的質問応答など、様々なビジョン言語処理（VLP）タスクを実行することができます。 QuiltNetは、幅広い標準データセットで新しい最先端技術を確立し、従来のVLPアプローチを大幅に上回っています。

🚀 クイックスタート

このセクションでは、QuiltNet-B-16の概要と使用方法について説明します。

✨ 主な機能

• ゼロショット画像分類、画像とテキストの検索などのビジョン言語処理タスクを実行できます。
• 幅広い標準データセットで新しい最先端技術を確立し、従来のVLPアプローチを大幅に上回っています。

📚 ドキュメント

QuiltNet-B-16の説明

QuiltNet-B-16 は、代表的な病理組織学ビデオから収集された Quilt-1M データセットを使用して学習されたCLIP ViT-B/16のビジョン言語基礎モデルです。 このモデルは、クロスモーダル検索、画像分類、視覚的質問応答など、様々なビジョン言語処理（VLP）タスクを実行することができます。

利用方法

直接利用

ゼロショット画像分類、画像とテキストの検索など。

下流利用

画像分類やその他の画像タスクの微調整、線形プローブ画像分類、画像生成のガイドと条件付けなど。

意図された利用

このモデルは、研究コミュニティ向けの研究成果として意図されています。このモデルにより、研究者がゼロショット、任意の画像分類をよりよく理解し、探索できることを期待しています。また、このようなモデルの潜在的な影響に関する学際的な研究にも利用できることを期待しています。

主な意図された利用者

これらのモデルの主な意図された利用者は、AI研究者です。

主に、研究者がコンピュータビジョン病理組織学モデルのロバスト性、汎化性、その他の機能、バイアス、制約をよりよく理解するためにこのモデルを使用することを想定しています。

想定外の利用ケース

このモデルのすべての展開された利用ケース（商用か否かを問わない）は、現在想定外です。制約された環境での画像検索などの非展開利用ケースも、特定の固定クラス分類法でモデルの十分なドメイン内テストが行われない限り、推奨されません。

このモデルは英語以外の言語での学習や評価が行われていないため、その利用は英語の利用ケースに限定する必要があります。

また、これらのモデルの学習に使用されたQuilt-1Mデータセットには、追加の考慮事項があります。詳細は以下を参照してください。

学習データ

このモデルは、QUILT-1M という病理組織学用の画像テキストデータセットを使用して学習されました。 QUILT-1Mは、Youtubeの教育ビデオから収集され、病理組織学におけるビジョン言語モデリングのための最大のデータセットを提供します。

⚠️ 重要提示

このデータセットの作成の動機は、大規模なマルチモーダルモデルの学習と、公開されたインターネットからクロールされた未加工の大規模病理組織学データセットの取り扱いに関する研究と実験を民主化することです。したがって、このデータセットは研究目的で使用することを推奨します。

評価

評価は CLIP Benchmark suite のコードを使用して行われ、結果は様々な組織学タスクとデータセットに関する論文に記載されています。

免責事項

この機能から得られる結果は、医療上のアドバイスを構成することを意図しておらず、資格のある医療専門家との相談を代替するものではありません。この機能の使用は、完全にあなた自身の責任で行われ、適用される法律、規制、および倫理的考慮事項に準拠する必要があります。私たちは、この機能の特定の目的に対する正確性、完全性、適合性、または有用性を保証または保証するものではなく、この機能に依存したり、その使用から得られる結果に依存したりすることに起因するいかなる責任も負いません。

プライバシー

Youtubeのプライバシーポリシーに従い、私たちはビデオIDデータのみを再配布します。 ビデオID以外のコンテンツを再配布することは厳禁です。 行われるすべての配布は、あなたの管轄区域で適用される法律と規制（輸出管理法や禁輸措置を含む）に準拠する必要があります。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

@misc{ikezogwo2023quilt1m,
      title={Quilt-1M: One Million Image-Text Pairs for Histopathology}, 
      author={Wisdom Oluchi Ikezogwo and Mehmet Saygin Seyfioglu and Fatemeh Ghezloo and Dylan Stefan Chan Geva and Fatwir Sheikh Mohammed and Pavan Kumar Anand and Ranjay Krishna and Linda Shapiro},
      year={2023},
      eprint={2306.11207},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}