Cephalo Gemma 3 4b It 04 16 2025

🚀 Cephalo - Gemma - 3 - 4b

このチェックポイントは、lamm - mit/Cephalo - Gemma - 3 - 4b - it - 04 - 15 - 2025よりも生物学的材料と蜘蛛の糸のデータセットを用いて高度にファインチューニングされています。

🚀 クイックスタート

モデルの読み込みと推論

import torch
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from transformers.image_utils import load_image
from PIL import Image as PILImage

ckpt = "lamm-mit/Cephalo-Gemma-3-4b-it-04-16-2025"
model = Gemma3ForConditionalGeneration.from_pretrained(
    ckpt, device_map="auto", torch_dtype=torch.bfloat16,
)
processor = AutoProcessor.from_pretrained(ckpt)

image=PILImage.open(f'./spiderweb.png').convert("RGB")
messages = [
    {
        "role": "system",
        "content": [
             {"type": "text", "text": "You are a materials scientist."}
        ],
        "role": "user",
        "content": [
             {"type": "image", "image": image},
             {"type": "text", "text": "What does this image show? Provide a detailed analysis."}
        ]
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device)

input_len = inputs["input_ids"].shape[-1]

generation = model.generate(**inputs, max_new_tokens=512, do_sample=False)
generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

結果:

画像には、赤色の照明が当たったガラスで囲まれた立方体の中に、蜘蛛の糸でできた蜘蛛の巣があります。この巣は蜘蛛の自然な行動の結果であり、複雑な3次元パターンを持っています。立方体は3D印刷された構造体で、蜘蛛が巣を作った環境です。赤色の照明とガラスの囲いは、巣と立方体を際立たせるために使われており、照明と立方体の素材（ガラス）は巣の構造を示すために使われています。

蜘蛛の巣は自然で複雑なデザインであり、立方体は人工的な3D印刷構造体です。この画像は自然と人工の組み合わせであり、赤色の照明とガラスの囲いは、巣と立方体を新しく面白い方法で見せています。

この画像は、自然界の美しさと複雑さ、そして人工世界の可能性を思い起こさせます。蜘蛛の巣は自然で複雑なデザインであり、立方体は人工的な3D印刷構造体です。この画像は自然と人工の組み合わせであり、赤色の照明とガラスの囲いは、巣と立方体を新しく面白い方法で見せています。

参考文献

@article{Buehler_Cephalo_2024_journal,
  title={Cephalo: Multi-Modal Vision-Language Models for Bio-Inspired Materials Analysis and Design},
  author={Markus J. Buehler},
  journal={Advanced Functional Materials},
  year={2024},
  volume={34},
  issue={49},
  doi={2409531},
  url={https://advanced.onlinelibrary.wiley.com/doi/full/10.1002/adfm.202409531}
}