Cephalo Gemma 3 4b It 04 16 2025

🚀 Cephalo - Gemma - 3 - 4b

本檢查點相較於 lamm - mit/Cephalo - Gemma - 3 - 4b - it - 04 - 15 - 2025，在生物材料和蜘蛛絲數據集上進行了更深入的微調。

🚀 快速開始

💻 使用示例

基礎用法

import torch
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from transformers.image_utils import load_image
from PIL import Image as PILImage

ckpt = "lamm-mit/Cephalo-Gemma-3-4b-it-04-16-2025"
model = Gemma3ForConditionalGeneration.from_pretrained(
    ckpt, device_map="auto", torch_dtype=torch.bfloat16,
)
processor = AutoProcessor.from_pretrained(ckpt)

image=PILImage.open(f'./spiderweb.png').convert("RGB")
messages = [
    {
        "role": "system",
        "content": [
             {"type": "text", "text": "You are a materials scientist."}
        ],
        "role": "user",
        "content": [
             {"type": "image", "image": image},
             {"type": "text", "text": "What does this image show? Provide a detailed analysis."}
        ]
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device)

input_len = inputs["input_ids"].shape[-1]

generation = model.generate(**inputs, max_new_tokens=512, do_sample=False)
generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

結果

圖像展示了一個位於紅色燈光照射、玻璃封閉立方體中的蜘蛛網，蜘蛛網是由蜘蛛吐絲形成的複雜三維結構。這個立方體是3D打印的結構，是蜘蛛織網的環境。紅色燈光和玻璃外殼用於突出顯示蜘蛛網和立方體，燈光和立方體的材質（玻璃）用於展示蜘蛛網的結構。

蜘蛛網是自然而複雜的設計，立方體是人造的3D打印結構。這幅圖像是自然與人工的結合，紅色燈光和玻璃外殼以一種新穎有趣的方式展示了蜘蛛網和立方體。

這幅圖像提醒我們自然界的美麗與複雜，以及人造世界的可能性。蜘蛛網是自然而複雜的設計，立方體是人造的3D打印結構。這幅圖像是自然與人工的結合，紅色燈光和玻璃外殼以一種新穎有趣的方式展示了蜘蛛網和立方體。

📚 詳細文檔

引用

@article{Buehler_Cephalo_2024_journal,
  title={Cephalo: Multi-Modal Vision-Language Models for Bio-Inspired Materials Analysis and Design},
  author={Markus J. Buehler},
  journal={Advanced Functional Materials},
  year={2024},
  volume={34},
  issue={49},
  doi={2409531},
  url={https://advanced.onlinelibrary.wiley.com/doi/full/10.1002/adfm.202409531}
}