Vinvl Base Image Captioning

🚀 キャプショニング用のVinVLモデルカード 🖼️

MicrosoftのVinVL は、画像キャプション生成の下流タスク用に事前学習されたベースモデルです。

📦 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📊 使用データセット

• coco
• conceptual-caption
• sbu
• flickr30k
• vqa
• gqa
• vg-qa
• open-images

📈 COCOテストセットのメトリクス

著者による表 (表7、交差エントロピー最適化)

📚 詳細ドキュメント

このモデルのインストール方法と使用方法の詳細については、こちらを参照してください: michelecafagna26/VinVL

🔧 技術詳細

⛏️ 特徴抽出

このモデルには、特徴を抽出するための別個のビジュアルバックボーンがあります。

• モデルに関する詳細: michelecafagna26/vinvl_vg_x152c4
• インストールと使用方法に関する詳細: michelecafagna26/vinvl-visualbackbone

💻 使用例

基本的な使用法

from transformers.pytorch_transformers import BertConfig, BertTokenizer
from oscar.modeling.modeling_bert import BertForImageCaptioning
from oscar.wrappers import OscarTensorizer

ckpt = "path/to/the/checkpoint"
device = "cuda" if torch.cuda.is_available() else "cpu"

# original code
config = BertConfig.from_pretrained(ckpt)
tokenizer = BertTokenizer.from_pretrained(ckpt)
model = BertForImageCaptioning.from_pretrained(ckpt, config=config).to(device)

# This takes care of the preprocessing
tensorizer = OscarTensorizer(tokenizer=tokenizer, device=device)

# numpy-arrays with shape (1, num_boxes, feat_size)
# feat_size is 2054 by default in VinVL
visual_features = torch.from_numpy(feat_obj).to(device).unsqueeze(0)

# labels are usually extracted by the features extractor
labels = [['boat', 'boat', 'boat', 'bottom', 'bush', 'coat', 'deck', 'deck', 'deck', 'dock', 'hair', 'jacket']]

inputs = tensorizer.encode(visual_features, labels=labels)
outputs = model(**inputs)

pred = tensorizer.decode(outputs)

# the output looks like this:
# pred = {0: [{'caption': 'a red and white boat traveling down a river next to a small boat.', 'conf': 0.7070220112800598]}

🧾 引用

元のプロジェクトとVinVLの論文を引用していただけると幸いです。

@misc{han2021image,
      title={Image Scene Graph Generation (SGG) Benchmark}, 
      author={Xiaotian Han and Jianwei Yang and Houdong Hu and Lei Zhang and Jianfeng Gao and Pengchuan Zhang},
      year={2021},
      eprint={2107.12604},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@inproceedings{zhang2021vinvl,
  title={Vinvl: Revisiting visual representations in vision-language models},
  author={Zhang, Pengchuan and Li, Xiujun and Hu, Xiaowei and Yang, Jianwei and Zhang, Lei and Wang, Lijuan and Choi, Yejin and Gao, Jianfeng},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={5579--5588},
  year={2021}
}