Altclip M18

🚀 AltCLIP-m18

AltCLIP-m18は、多言語対応のText-Imageタスクを扱うCLIPモデルです。18の言語をサポートし、AltDiffusion-m18モデルにも対応しています。コードはオープンソースで公開されており、モデルの重みも利用可能です。

🚀 クイックスタート

AltCLIP-m18は、多言語対応のText-Imageモデルです。このモデルは、画像とテキストの関連性を評価することができ、AltDiffusion-m18モデルにも対応しています。

✨ 主な機能

• 18の言語をサポートし、多言語環境でのText-Imageタスクに対応。
• AltDiffusion-m18モデルをサポートし、画像生成などのアプリケーションに利用可能。
• コードがオープンソースで公開されており、微調整や推論が容易。

📚 ドキュメント

概要

バイリンガルモデルAltCLIPと9言語モデルAltCLIP-m9に続いて、18言語のCLIPモデルを訓練しました。これをAltCLIP-m18と命名しました。このモデルは、英語、中国語、日本語、タイ語、韓国語、ヒンディー語、ウクライナ語、アラビア語、トルコ語、ベトナム語、ポーランド語、オランダ語、ポルトガル語、イタリア語、スペイン語、ドイツ語、フランス語、ロシア語をサポートしています。

AltCLIP-m18モデルは、AltDiffusion-m18モデルをサポートしています。AltDiffusionモデルの詳細については、このチュートリアルを参照してください。

モデルのコードは、FlagAIでオープンソース化されており、重みはmodelhubにあります。微調整、推論、検証のスクリプトも提供しているので、ぜひ試してみてください。

訓練データセット

[1] WuDaoMMデータセットは学術研究のみに使用され、このデータセットの使用には以下の要件があります。WuDaoMMはこれらの画像の著作権を持っていません。画像の使用はFlickrの利用規約に従う必要があります。画像のユーザーは、データセットの使用について全責任を負い、上記の画像を私的に配布してはいけません。画像の著作権が侵害された場合は、お知らせいただければ、直ちに削除します。

段階1では並列コーパスデータを使用しています。段階2と3では、主にLaion-Aestheticsのサブセットを使用しています。中国語のデータセットには、wudaoMMデータセット(CC-BY-SA 4.0)を使用しています。

引用

AltCLIPに関する詳細なレポートを公開しています。もしあなたの研究に役立つ場合は、ぜひ引用してください。

@article{https://doi.org/10.48550/arxiv.2211.06679,
  doi = {10.48550/ARXIV.2211.06679},
  url = {https://arxiv.org/abs/2211.06679},
  author = {Chen, Zhongzhi and Liu, Guang and Zhang, Bo-Wen and Ye, Fulong and Yang, Qinghong and Wu, Ledell},
  keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences},
  title = {AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

AltCLIP-m18評価

ImageNet

その他の分類

検索

💻 使用例

基本的な使用法

Cifar10データセット評価コード

# Copyright © 2022 BAAI. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License")
import torch
from flagai.auto_model.auto_loader import AutoLoader
import zeroshot_classification
import json 
import os 
from torchvision.datasets import CIFAR10

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
maxlen = 256

dataset_root = "./clip_benchmark_datasets/"
dataset_name = "cifar10"

auto_loader = AutoLoader(
    task_name="txt_img_matching",
    model_dir="./checkpoints/",
    model_name="AltCLIP-XLMR-L-m18"   # Load the checkpoints from Modelhub(model.baai.ac.cn/models)
)

model = auto_loader.get_model()
model.to(device)
model.eval()
tokenizer = auto_loader.get_tokenizer()
transform = auto_loader.get_transform()

dataset = CIFAR10(root=os.path.join(dataset_root, dataset_name), 
                transform=transform,   
                download=True)
batch_size = 128
num_workers = 4

template = {"cifar10": [
        "a photo of a {c}.",
        "a blurry photo of a {c}.",
        "a black and white photo of a {c}.",
        "a low contrast photo of a {c}.",
        "a high contrast photo of a {c}.",
        "a bad photo of a {c}.",
        "a good photo of a {c}.",
        "a photo of a small {c}.",
        "a photo of a big {c}.",
        "a photo of the {c}.",
        "a blurry photo of the {c}.",
        "a black and white photo of the {c}.",
        "a low contrast photo of the {c}.",
        "a high contrast photo of the {c}.",
        "a bad photo of the {c}.",
        "a good photo of the {c}.",
        "a photo of the small {c}.",
        "a photo of the big {c}."
    ],
}
def evaluate():
    if dataset:
        dataloader = torch.utils.data.DataLoader(
            dataset,
            batch_size=batch_size,
            shuffle=False,
            num_workers=num_workers,
        )

        zeroshot_templates = template["cifar10"]
        classnames = dataset.classes if hasattr(dataset, "classes") else None

        metrics = zeroshot_classification.evaluate(
            model,
            dataloader,
            tokenizer,
            classnames, 
            zeroshot_templates,
            device=device,
            amp=True,
        )
       
        dump = {
            "dataset": dataset_name,
            "metrics": metrics
        }

        print(dump)
        with open("./result.txt", "w") as f:
            json.dump(dump, f)
        return metrics

if __name__ == "__main__":
    evaluate()

推論スクリプト

import torch
from PIL import Image
from flagai.auto_model.auto_loader import AutoLoader

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

loader = AutoLoader(
    task_name="txt_img_matching",
    model_name="AltCLIP-XLMR-L-m18",   # Load the checkpoints from Modelhub(model.baai.ac.cn/models)
    model_dir="./checkpoints"
)

model = loader.get_model()
tokenizer = loader.get_tokenizer()
transform = loader.get_transform()

model.eval()
model.to(device)
tokenizer = loader.get_tokenizer()

def inference():
    image = Image.open("./dog.jpeg")
    image = transform(image)
    image = torch.tensor(image["pixel_values"]).to(device)
    tokenizer_out = tokenizer(["a rat", "a dog", "a cat"], 
                                padding=True,
                                truncation=True,
                                max_length=77,
                                return_tensors='pt')

    text = tokenizer_out["input_ids"].to(device)
    attention_mask = tokenizer_out["attention_mask"].to(device)
    with torch.no_grad():
        image_features = model.get_image_features(image)
        text_features = model.get_text_features(text, attention_mask=attention_mask)
        text_probs = (image_features @ text_features.T).softmax(dim=-1)

    print(text_probs.cpu().numpy()[0].tolist())

if __name__=="__main__":
    inference()

微調整

Cifar10データセット

# Copyright © 2022 BAAI. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License")
import torch
from flagai.auto_model.auto_loader import AutoLoader
import os 
from flagai.trainer import Trainer
from torchvision.datasets import (
    CIFAR10
)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

dataset_root = "./clip_benchmark_datasets"
dataset_name = "cifar10"

batch_size = 4
classes = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']

auto_loader = AutoLoader(
    task_name="txt_img_matching",
    model_dir="./checkpoints",
    model_name="AltCLIP-XLMR-L-m18"   # Load the checkpoints from Modelhub(model.baai.ac.cn/models)
)

model = auto_loader.get_model()
model.to(device)
model.eval()
tokenizer = auto_loader.get_tokenizer()
transform = auto_loader.get_transform()

trainer = Trainer(env_type="pytorch",
                pytorch_device=device,
                experiment_name="clip_finetuning",