Kimi VL A3B Thinking 2506

🚀 Kimi-VL-A3B-Thinking-2506

Kimi-VL-A3B-Thinking-2506 是 Kimi-VL-A3B-Thinking 的升級版，在多模態推理、視覺感知與理解、視頻場景處理等方面有顯著提升，同時支持更高分辨率圖像，且能在消耗更少令牌的情況下實現更智能的思考。

基礎信息

⚠️ 重要提示

這是 Kimi-VL-A3B-Thinking 的改進版本，請考慮使用此更新後的模型，而非之前的版本。

💡 使用建議

請訪問我們的技術博客，獲取此模型的推薦推理方案：Kimi-VL-A3B-Thinking-2506: A Quick Navigation

✨ 主要特性

這是 Kimi-VL-A3B-Thinking 的更新版本，具有以下改進能力：

• 更智能思考，更少令牌消耗：2506 版本在多模態推理基準測試中達到了更好的準確率，如 MathVision 達到 56.9（提升 20.1）、MathVista 達到 80.1（提升 8.4）、MMMU-Pro 達到 46.3（提升 3.3）、MMMU 達到 64.0（提升 2.1），同時平均所需思考長度減少 20%。
• 思考助力，視覺更清晰：與專注于思考任務的前一版本不同，2506 版本在一般視覺感知和理解方面也能達到相同甚至更好的能力，如 MMBench-EN-v1.1（84.4）、MMStar（70.4）、RealWorldQA（70.0）、MMVet（78.4），超越或匹配了我們非思考模型（Kimi-VL-A3B-Instruct）的能力。
• 拓展至視頻場景：新的 2506 版本在視頻推理和理解基準測試中也有所改進。它在 VideoMMMU 上為開源模型設定了新的技術水平（65.2），同時在一般視頻理解方面也保留了良好的能力（Video-MME 達到 71.9，與 Kimi-VL-A3B-Instruct 相當）。
• 支持更高分辨率：新的 2506 版本支持單張圖像 320 萬總像素，是前一版本的 4 倍。這在高分辨率感知和 OS 代理接地基準測試中帶來了顯著改進，如 V* Benchmark（無額外工具）達到 83.2、ScreenSpot-Pro 達到 52.8、OSWorld-G（完整集，含拒絕）達到 52.5。

📈 性能表現

與高效模型及 Kimi-VL 前兩個版本的比較

與 30B - 70B 開源模型的比較

💻 使用示例

基礎用法

使用 VLLM 進行推理（推薦）

作為一個長解碼模型，最多可生成 32K 令牌，我們推薦使用 VLLM 進行推理，它已經支持 Kimi-VL 系列。

MAX_JOBS=4 pip install vllm==0.9.1 blobfile flash-attn --no-build-isolation

⚠️ 重要提示

務必顯式安裝 flash-attn 以避免 CUDA 內存不足。

from transformers import AutoProcessor
from vllm import LLM, SamplingParams

model_path = "moonshotai/Kimi-VL-A3B-Thinking-2506"
llm = LLM(
    model_path,
    trust_remote_code=True,
    max_num_seqs=8,
    max_model_len=131072,
    limit_mm_per_prompt={"image": 256}
)

processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

sampling_params = SamplingParams(max_tokens=32768, temperature=0.8)


import requests
from PIL import Image

def extract_thinking_and_summary(text: str, bot: str = "◁think▷", eot: str = "◁/think▷") -> str:
    if bot in text and eot not in text:
        return ""
    if eot in text:
        return text[text.index(bot) + len(bot):text.index(eot)].strip(), text[text.index(eot) + len(eot) :].strip()
    return "", text

OUTPUT_FORMAT = "--------Thinking--------\n{thinking}\n\n--------Summary--------\n{summary}"

url = "https://huggingface.co/spaces/moonshotai/Kimi-VL-A3B-Thinking/resolve/main/images/demo6.jpeg"
image = Image.open(requests.get(url,stream=True).raw)

messages = [
    {"role": "user", "content": [{"type": "image", "image": ""}, {"type": "text", "text": "What kind of cat is this? Answer with one word."}]}
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

outputs = llm.generate([{"prompt": text, "multi_modal_data": {"image": image}}], sampling_params=sampling_params)
generated_text = outputs[0].outputs[0].text

thinking, summary = extract_thinking_and_summary(generated_text)
print(OUTPUT_FORMAT.format(thinking=thinking, summary=summary))

使用 🤗 Hugging Face Transformers 進行推理

我們介紹如何使用 transformers 庫在推理階段使用我們的模型。建議使用 python=3.10、torch>=2.1.0 和 transformers=4.48.2 作為開發環境。

from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor

def extract_thinking_and_summary(text: str, bot: str = "◁think▷", eot: str = "◁/think▷") -> str:
    if bot in text and eot not in text:
        return ""
    if eot in text:
        return text[text.index(bot) + len(bot):text.index(eot)].strip(), text[text.index(eot) + len(eot) :].strip()
    return "", text

OUTPUT_FORMAT = "--------Thinking--------\n{thinking}\n\n--------Summary--------\n{summary}"

url = "https://huggingface.co/spaces/moonshotai/Kimi-VL-A3B-Thinking/resolve/main/images/demo6.jpeg"

model_path = "moonshotai/Kimi-VL-A3B-Thinking-2506"
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

image_paths = ["url"]
images = [Image.open(path) for path in image_paths]
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image_path} for image_path in image_paths
        ] + [{"type": "text", "text": "What kind of cat is this? Answer with one word."}],
    },
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
inputs = processor(images=images, text=text, return_tensors="pt", padding=True, truncation=True).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=32768, temperature=0.8)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
response = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(response)

📚 引用信息

@misc{kimiteam2025kimivltechnicalreport,
      title={{Kimi-VL} Technical Report}, 
      author={Kimi Team and Angang Du and Bohong Yin and Bowei Xing and Bowen Qu and Bowen Wang and Cheng Chen and Chenlin Zhang and Chenzhuang Du and Chu Wei and Congcong Wang and Dehao Zhang and Dikang Du and Dongliang Wang and Enming Yuan and Enzhe Lu and Fang Li and Flood Sung and Guangda Wei and Guokun Lai and Han Zhu and Hao Ding and Hao Hu and Hao Yang and Hao Zhang and Haoning Wu and Haotian Yao and Haoyu Lu and Heng Wang and Hongcheng Gao and Huabin Zheng and Jiaming Li and Jianlin Su and Jianzhou Wang and Jiaqi Deng and Jiezhong Qiu and Jin Xie and Jinhong Wang and Jingyuan Liu and Junjie Yan and Kun Ouyang and Liang Chen and Lin Sui and Longhui Yu and Mengfan Dong and Mengnan Dong and Nuo Xu and Pengyu Cheng and Qizheng Gu and Runjie Zhou and Shaowei Liu and Sihan Cao and Tao Yu and Tianhui Song and Tongtong Bai and Wei Song and Weiran He and Weixiao Huang and Weixin Xu and Xiaokun Yuan and Xingcheng Yao and Xingzhe Wu and Xinxing Zu and Xinyu Zhou and Xinyuan Wang and Y. Charles and Yan Zhong and Yang Li and Yangyang Hu and Yanru Chen and Yejie Wang and Yibo Liu and Yibo Miao and Yidao Qin and Yimin Chen and Yiping Bao and Yiqin Wang and Yongsheng Kang and Yuanxin Liu and Yulun Du and Yuxin Wu and Yuzhi Wang and Yuzi Yan and Zaida Zhou and Zhaowei Li and Zhejun Jiang and Zheng Zhang and Zhilin Yang and Zhiqi Huang and Zihao Huang and Zijia Zhao and Ziwei Chen},
      year={2025},
      eprint={2504.07491},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.07491}, 
}

📄 許可證

本項目採用 MIT 許可證。