Ret OpenCLIP ViT H 14

🚀 ReTモデル

ReTは、マルチモーダルなクエリとドキュメントの両方をサポートする、新しいマルチモーダルドキュメント検索手法です。既存の手法がビジョンと言語のバックボーンの最終層からの特徴のみを使用するのに対し、ReTはTransformerベースの再帰セルを採用して、ビジュアルとテキストの両方のバックボーンの異なる層からの多レベル表現を活用します。このモデルには、LSTMの設計に触発されたシグモイドゲートが備わっており、層とモダリティ間の情報の流れを選択的に制御します。ReTはマルチモーダルなクエリとドキュメントを独立して処理し、細粒度の後期相互作用類似度計算に使用される潜在トークンのセットを生成します。ReTは、クエリとドキュメントの両方で画像とテキストを処理するように設計されています。このため、挑戦的なM2KRベンチマークのカスタムバージョンで訓練および評価されており、以下の変更が加えられています：画像を含まないMSMARCOは除外され、OVEN、InfoSeek、E - VQA、OKVQAのドキュメントに画像が追加されて充実されています。

✨ 主な機能

• マルチモーダルなクエリとドキュメントの検索をサポート
• Transformerベースの再帰セルを用いて多レベル表現を活用
• LSTMに触発されたシグモイドゲートで情報の流れを制御
• 細粒度の後期相互作用類似度計算を行う

📦 インストール

リポジトリの指示に従って、必要な環境をインストールしてください。

💻 使用例

基本的な使用法

from src.models import RetrieverModel, RetModel
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'
retriever = RetrieverModel.from_pretrained('aimagelab/ReT-OpenCLIP-ViT-H-14', device_map=device)

# QUERY
ret: RetModel = retriever.get_query_model()
ret.init_tokenizer_and_image_processor()
q_txt = "Retrieve documents that provide an answer to the question alongside the image: What is the content of the image?"
q_img = 'assets/model.png'

ret_feats = ret.get_ret_features([[q_txt, q_img]])
print(ret_feats.shape)  # torch.Size([1, 32, 128])


# PASSAGE
ret: RetModel = retriever.get_passage_model()
ret.init_tokenizer_and_image_processor()

p_txt = """The image shows a diagram of what appears to be a neural network architecture using a fine-grained loss approach for multimodal learning.
The architecture has two parallel processing streams labeled "ReTQ" (left side, in purple) and "ReTD" (right side, in blue).
Each side has: ..."""
p_img = ''

ret_feats = ret.get_ret_features([[p_txt, p_img]])
print(ret_feats.shape)  # torch.Size([1, 32, 128])

📚 ドキュメント

モデル情報

モデルソース

• リポジトリ: https://github.com/aimagelab/ReT
• 論文: Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval (CVPR 2025)

📄 ライセンス

このモデルはapache - 2.0ライセンスの下で提供されています。

📚 引用

@inproceedings{caffagni2025recurrence,
  title={{Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval}},
  author={Caffagni, Davide and Sarto, Sara and Cornia, Marcella and Baraldi, Lorenzo and Cucchiara, Rita},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2025}
}