Taiyi Vit 87M D

🚀 Taiyi-vit-87M-D

Taiyi-vit-87M-Dは、COCOとVG上で特殊な事前学習を行った、英語版のMAP（仮称）のビジュアルエンコーダで、ViT-baseをベースにしています。

• メインページ: Fengshenbang
• Github: Fengshenbang-LM

🚀 クイックスタート

Taiyi-vit-87M-Dは、COCOとVG上で特殊な事前学習を行ったビジュアルエンコーダです。以下に使用例を示します。

✨ 主な機能

• COCOとVG上で特殊な事前学習を行った、英語版のMAP（仮称）のビジュアルエンコーダ。
• clip-vit-baseをベースに、特殊な事前学習タスクを用いて多モーダル情報を導入。

📚 ドキュメント

モデル分類

モデル情報

clip-vit-base (patch 16, resolution 224x224)をベースに、特殊な事前学習タスクを用いて多モーダル情報を導入しています。"D"は新しい事前学習方法を示しています。特殊な多モーダル表現のために、論文ではいくつかの異なる訓練目標を設計しています。事前学習データセットはMSCOCOとVGです。コードと事前学習タスクの詳細は、論文が受理された後に公開されます。

下流タスクの性能

ローカルテストの設定は以下の通りです。

学習率 = 2e-5, バッチサイズ = 128, 学習エポック数 = 5, 重み減衰 = 0.01

💻 使用例

基本的な使用法

from transformers import ViTFeatureExtractor, ViTForImageClassification
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = ViTFeatureExtractor.from_pretrained('IDEA-CCNL/Taiyi-vit-87M-D')
model = ViTForImageClassification.from_pretrained('IDEA-CCNL/Taiyi-vit-87M-D')

inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# model predicts one of the 1000 ImageNet classes
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])
# Predicted class: Egyptian cat

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。

引用

もしあなたの研究でこのモデルを使用した場合は、以下の論文を引用してください。

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

また、以下のウェブサイトも引用することができます。

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}