Smolvlm 500M Anime Caption V0.2

🚀 SmolVLM-500M-Anime-Caption-v0.1

SmolVLM-500M-Anime-Caption-v0.1 是一款專注於描述動漫風格圖像的視覺語言模型。它基於先進的大語言模型技術，能夠高效且高質量地為動漫風格圖像生成自然流暢的英文描述，為動漫內容的索引、標記等應用場景提供有力支持。

🚀 快速開始

模型基本信息

模型描述

該模型專為高效、高質量地描述動漫風格圖像而設計，能夠為各種動漫和插畫作品生成自然的英文描述。

預期用途

• 動漫圖像描述：為動漫、漫畫面板或插畫生成英文描述。
• 內容索引或標記：用於以動漫為重點的檔案、數據庫和創意工具。

適用範圍外/限制

該模型不適用於現實世界照片描述、非動漫藝術作品或關鍵決策場景。

✨ 主要特性

• 專注動漫：專門針對動漫風格圖像進行優化，能夠準確捕捉動漫作品的獨特特徵和風格。
• 高質量描述：生成的英文描述自然流暢，符合語言表達習慣。
• 高效推理：在處理動漫圖像時具有較高的效率。

📦 安裝指南

文檔中未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import requests
from PIL import Image
import torch
from transformers import AutoProcessor, Idefics3ForConditionalGeneration, TextIteratorStreamer, StoppingCriteria, StoppingCriteriaList

base_model_id = "Andres77872/SmolVLM-500M-anime-caption-v0.2"

processor = AutoProcessor.from_pretrained(base_model_id)
model = Idefics3ForConditionalGeneration.from_pretrained(
    base_model_id,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

class StopOnTokens(StoppingCriteria):
    def __init__(self, tokenizer, stop_sequence):
        super().__init__()
        self.tokenizer = tokenizer
        self.stop_sequence = stop_sequence

    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:
        new_text = self.tokenizer.decode(input_ids[0], skip_special_tokens=True)
        max_keep = len(self.stop_sequence) + 10
        if len(new_text) > max_keep:
            new_text = new_text[-max_keep:]
        return self.stop_sequence in new_text

def prepare_inputs(image: Image.Image):
    # IMPORTANT: The question prompt must remain fixed as "describe the image".
    # This model is NOT designed for visual question answering.
    # It is strictly an image captioning model, not intended to answer arbitrary visual questions.
    question = "describe the image"
    messages = [
        {
            "role": "user",
            "content": [
                {"type": "image"},
                {"type": "text", "text": question}
            ]
        }
    ]
    max_image_size = processor.image_processor.max_image_size["longest_edge"]
    size = processor.image_processor.size.copy()
    if "longest_edge" in size and size["longest_edge"] > max_image_size:
        size["longest_edge"] = max_image_size
    prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
    inputs = processor(text=[prompt], images=[[image]], return_tensors='pt', padding=True, size=size)
    inputs = {k: v.to(model.device) for k, v in inputs.items()}
    return inputs

# Example: caption a sample anime image
image = Image.open(requests.get('https://img.arz.ai/5A7A-ckt', stream=True).raw).convert("RGB")
inputs = prepare_inputs(image)
stop_sequence = "</RATING>"
streamer = TextIteratorStreamer(
    processor.tokenizer,
    skip_prompt=True,
    skip_special_tokens=True,
)
custom_stopping_criteria = StoppingCriteriaList([
    StopOnTokens(processor.tokenizer, stop_sequence)
])

with torch.no_grad():
    generation_kwargs = dict(
        **inputs,
        streamer=streamer,
        do_sample=False,
        max_new_tokens=512,
        pad_token_id=processor.tokenizer.pad_token_id,
        stopping_criteria=custom_stopping_criteria,
    )

    import threading
    generation_thread = threading.Thread(target=model.generate, kwargs=generation_kwargs)
    generation_thread.start()

    for new_text in streamer:
        print(new_text, end="", flush=True)

    generation_thread.join()

高級用法

文檔中未提及高級用法相關代碼，故跳過此部分。

📚 詳細文檔

訓練詳情

• 微調數據集：40 萬對動漫圖像和合成英文描述對。
• 描述生成：合成描述使用 Llama 4 Maverick 生成。
• 任務：圖像到文本，專注於高質量動漫風格描述。
• 基礎模型：HuggingFaceTB/SmolVLM-500M-Base

許可證

Apache 2.0（繼承自基礎模型和訓練組件）

歸屬說明

該模型是 HuggingFaceTB/SmolVLM-500M-Base 的微調衍生模型，使用大語言模型生成的合成數據，用於動漫圖像描述任務。

⚠️ 重要提示

問題提示必須固定為 "describe the image"，該模型並非設計用於視覺問答，它嚴格是一個圖像描述模型，不用於回答任意視覺問題。

💡 使用建議

在使用該模型時，確保輸入的是動漫風格的圖像，以獲得最佳的描述效果。