Mplug Owl Llama 7b

🚀 mPLUG - Owl

mPLUG - Owlは、画像からテキストへの変換を行うモデルです。このプロジェクトでは、mPLUG - Owlの使用方法やモデルの初期化、推論の手順を提供しています。

🚀 クイックスタート

GitHubから最新のコードベースを取得する

git clone https://github.com/X-PLUG/mPLUG-Owl.git

モデルの初期化

from mplug_owl.modeling_mplug_owl import MplugOwlForConditionalGeneration
from mplug_owl.tokenization_mplug_owl import MplugOwlTokenizer
from mplug_owl.processing_mplug_owl import MplugOwlImageProcessor, MplugOwlProcessor

pretrained_ckpt = 'MAGAer13/mplug-owl-llama-7b'
model = MplugOwlForConditionalGeneration.from_pretrained(
    pretrained_ckpt,
    torch_dtype=torch.bfloat16,
)
image_processor = MplugOwlImageProcessor.from_pretrained(pretrained_ckpt)
tokenizer = MplugOwlTokenizer.from_pretrained(pretrained_ckpt)
processor = MplugOwlProcessor(image_processor, tokenizer)

モデルの推論

モデルの入力を準備します。

# 人間とAIのテンプレートを使用して、コンテキストをマルチターンの会話として整理します。
# <image> は画像のプレースホルダーを表します。
prompts = [
'''The following is a conversation between a curious human and AI assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.
Human: <image>
Human: Explain why this meme is funny.
AI: ''']

# 画像のパスはimage_listに配置し、プロンプトと同じ順序に保つ必要があります。
# URL、ローカルファイルパス、Base64文字列がサポートされています。mplug_owl.modeling_mplug_owl.ImageProcessorを変更することで、画像の前処理をカスタマイズできます。
image_list = ['https://xxx.com/image.jpg']

応答を取得します。

# generate kwargs (transformersと同じ) をdo_generate()に渡すことができます。
generate_kwargs = {
    'do_sample': True,
    'top_k': 5,
    'max_length': 512
}
from PIL import Image
images = [Image.open(_) for _ in image_list]
inputs = processor(text=prompts, images=images, return_tensors='pt')
inputs = {k: v.bfloat16() if v.dtype == torch.float else v for k, v in inputs.items()}
inputs = {k: v.to(model.device) for k, v in inputs.items()}
with torch.no_grad():
    res = model.generate(**inputs, **generate_kwargs)
sentence = tokenizer.decode(res.tolist()[0], skip_special_tokens=True)
print(sentence)

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で公開されています。