🚀 QuiltNet-B-32 説明
QuiltNet-B-32 は、代表的な病理組織学のビデオから選りすぐられた Quilt-1M データセットで学習されたCLIP ViT-B/32ビジョン言語基礎モデルです。
このモデルは、クロスモーダル検索、画像分類、視覚的質問応答など、様々なビジョン言語処理(VLP)タスクを実行できます。
QuiltNetは、幅広い標準データセットで新しい最先端技術を確立し、従来のVLPアプローチを大幅に上回っています。

✨ 主な機能
- ゼロショット画像分類、画像とテキストの検索などの直接的な利用が可能です。
- 画像分類やその他の画像タスクの微調整、線形プローブ画像分類、画像生成のガイドや条件付けなどの下流の利用も可能です。
📦 インストール
ドキュメントにインストール手順は記載されていません。
📚 ドキュメント
引用
@misc{ikezogwo2023quilt1m,
title={Quilt-1M: One Million Image-Text Pairs for Histopathology},
author={Wisdom Oluchi Ikezogwo and Mehmet Saygin Seyfioglu and Fatemeh Ghezloo and Dylan Stefan Chan Geva and Fatwir Sheikh Mohammed and Pavan Kumar Anand and Ranjay Krishna and Linda Shapiro},
year={2023},
eprint={2306.11207},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
使用方法
このモデルは、研究コミュニティ向けの研究成果として意図されています。研究者がゼロショット、任意の画像分類をよりよく理解し、探索できることを期待しています。また、このようなモデルの潜在的な影響に関する学際的な研究にも利用できることを期待しています。
直接的な利用
ゼロショット画像分類、画像とテキストの検索など。
下流の利用
画像分類やその他の画像タスクの微調整、線形プローブ画像分類、画像生成のガイドや条件付けなど。
意図された使用目的
このモデルは、研究コミュニティ向けの研究成果として意図されています。研究者がゼロショット、任意の画像分類をよりよく理解し、探索できることを期待しています。また、このようなモデルの潜在的な影響に関する学際的な研究にも利用できることを期待しています。
主な意図されたユーザー
このモデルの主な意図されたユーザーは、AI研究者です。
主に、研究者がコンピュータビジョン病理組織学モデルの堅牢性、汎化性、その他の機能、バイアス、制約をよりよく理解するためにこのモデルを使用することを想定しています。
想定外の使用ケース
このモデルのすべての展開された使用ケース(商用か否かを問わない)は、現在想定外です。制約された環境での画像検索などの非展開の使用ケースも、特定の固定クラス分類法でモデルの十分なドメイン内テストが行われない限り、推奨されません。
このモデルは英語以外の言語での学習や評価が行われていないため、その使用は英語の使用ケースに限定すべきです。
上記の注意事項に加えて、これらのモデルの学習に使用されるQuilt-1Mデータセットには、追加の考慮事項があります。詳細は以下を参照してください。
学習データ
このモデルは、QUILT-1M という病理組織学用の画像テキストデータセットで学習されています。
Youtubeの教育ビデオから選りすぐられたQUILT-1Mは、病理組織学におけるビジョン言語モデリングのための最大のデータセットを提供します。
⚠️ 重要提示
このデータセットの作成の動機は、大規模なマルチモーダルモデルの学習と、公開されているインターネットからクロールされた未加工の大規模な病理組織学データセットの取り扱いに関する研究と実験を民主化することです。したがって、このデータセットは研究目的で使用することを推奨します。
評価
評価は、CLIP Benchmark suite のコードを使用して行われ、結果は様々な組織学タスクとデータセットに関する論文で見ることができます。
免責事項
この関数から得られる結果は、医療上のアドバイスを構成することを意図しておらず、資格のある医療専門家との相談を代替するものではありません。この関数の使用は、完全にあなた自身の責任で行われ、適用される法律、規制、倫理的考慮事項に準拠する必要があります。私たちは、この関数の特定の目的に対する正確性、完全性、適切性、有用性を保証するものではなく、この関数またはその使用から得られる結果に依存することに起因するいかなる責任も否認します。
プライバシー
Youtubeのプライバシーポリシーに従い、私たちはビデオIDデータのみを再配布します。
ビデオID以外のコンテンツを再配布することは厳禁です。
行われるすべての配布は、あなたの管轄区域で適用される法律と規制、輸出管理法や禁輸措置を含め、遵守する必要があります。
📄 ライセンス
このモデルはMITライセンスの下で提供されています。
属性 |
详情 |
パイプラインタグ |
ゼロショット画像分類 |
ライブラリタグ |
open_clip |
ライセンス |
MIT |