Movie Picture Captioning

🚀 映画画像キャプショニング

このモデルは、映画の説明スタイルで任意の写真の説明を生成します。映画ポスターとその説明を学習しており、楽しみのために開発されました。

🚀 クイックスタート

このモデルは、映画画像のキャプションを生成するために使用できます。以下に使用方法を説明します。

✨ 主な機能

• 映画の説明スタイルで写真の説明を生成します。
• VisionEncoderDecoderModel をベースにしたエンコーダ - デコーダモデルです。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードで必要なライブラリをインストールできます。

pip install transformers torch pillow

💻 使用例

基本的な使用法

from PIL import Image
import torch
from transformers import AutoTokenizer, ViTFeatureExtractor, VisionEncoderDecoderModel

tokenizer = AutoTokenizer.from_pretrained("dumperize/movie-picture-captioning")
feature_extractor = ViTFeatureExtractor.from_pretrained("dumperize/movie-picture-captioning")
model = VisionEncoderDecoderModel.from_pretrained("dumperize/movie-picture-captioning")

max_length = 128
num_beams = 4
gen_kwargs = {"max_length": max_length, "num_beams": num_beams}

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

image_path = 'path/to/image.jpg';
image = Image.open(image_path)
image = image.resize([224,224])
if image.mode != "RGB":
  image = image.convert(mode="RGB")

pixel_values = feature_extractor(images=[image], return_tensors="pt").pixel_values
pixel_values = pixel_values.to(device)

output_ids = model.generate(pixel_values, **gen_kwargs)

preds = tokenizer.batch_decode(output_ids, skip_special_tokens=True)
print([pred.strip() for pred in preds])

📚 ドキュメント

モデルの詳細

モデルの説明

これは VisionEncoderDecoderModel をベースにしたエンコーダ - デコーダモデルです。エンコーダには Google/vit-base-patch16-224-in21k を、デコーダには DeepPavlov/rubert-base-cased を使用しています。

このモデルは、ロシアのアプリKinoposkの映画ポスターと説明のデータセットで改良されました。現在、このモデルはブロックバスターの専門用語で説明を生成します。

モデルのソース

• リポジトリ: github.com/slivka83
• デモ [オプション]: @MPC_project_bot

バイアス、リスク、制限事項

このモデルに使用される学習データはかなり中立的と言えるかもしれませんが、このモデルは偏った予測をする可能性があります。

学習の詳細

学習データ

2022年10月のすべてのロシア語映画のオープンソースからデータセットを作成しました - kinopoisk。説明が非常に短いまたは非常に長い映画はデータセットに含まれておらず、空白または非常に小さい画像の映画も除外されています。

前処理

このモデルは1x1080ti (11Gb) で約24時間学習されました。

評価

このモデルは以下の結果を達成しました: sacrebleu 6.84

評価指標

sacrebleu 指標を使用しました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。