Moondream Prompt

🚀 画像からプロンプト生成のために微調整されたmoondream2

moondreamはエッジデバイスで効率的に動作するように設計された小型のビジョン言語モデルです。このバージョンは画像からのプロンプト生成のために微調整されています。

🚀 クイックスタート

moondreamはエッジデバイスで効率的に動作するように設計された小型のビジョン言語モデルです。詳細についてはGitHubリポジトリをチェックしてください。また、Hugging Face Spaceで試すこともできます。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

pip install transformers timm einops bitsandbytes accelerate

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from PIL import Image

DEVICE = "cuda"
DTYPE = torch.float32 if DEVICE == "cpu" else torch.float16 # CPU doesn't support float16
revision = "ac6c8fc0ba757c6c4d7d541fdd0e63618457350c"
tokenizer = AutoTokenizer.from_pretrained("gokaygokay/moondream-prompt", revision=revision)
moondream = AutoModelForCausalLM.from_pretrained("gokaygokay/moondream-prompt",trust_remote_code=True,
    torch_dtype=DTYPE, device_map={"": DEVICE}, revision=revision)
moondream.eval()

image_path = "<image_path>"
image = Image.open(image_path).convert("RGB")
md_answer = moondream.answer_question(
        moondream.encode_image(image),
        "Describe this image and its style in a very detailed manner",
        tokenizer=tokenizer,
    )

print(md_answer)

実行例

"a very angry old man with white hair and a mustache, in the style of a Pixar movie, hyperrealistic, white background, 8k"

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。