360VL 70B

🚀 360VL

360VL 是基於 LLama3 語言模型開發的，也是業界首個基於 LLama3 - 70B [🤗Meta - Llama - 3 - 70B - Instruct] 的開源大型多模態模型。除應用 Llama3 語言模型外，360VL 模型還設計了全局感知多分支投影器架構，使模型具備更充足的圖像理解能力。

🚀 快速開始

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
from PIL import Image

checkpoint = "qihoo360/360VL-70B"

model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.float16, device_map='auto', trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
vision_tower = model.get_vision_tower()
vision_tower.load_model()
vision_tower.to(device="cuda", dtype=torch.float16)
image_processor = vision_tower.image_processor
tokenizer.pad_token = tokenizer.eos_token


image = Image.open("docs/008.jpg").convert('RGB')
query = "Who is this cartoon character?"
terminators = [
    tokenizer.convert_tokens_to_ids("<|eot_id|>",)
]

inputs = model.build_conversation_input_ids(tokenizer, query=query, image=image, image_processor=image_processor)

input_ids = inputs["input_ids"].to(device='cuda', non_blocking=True)
images = inputs["image"].to(dtype=torch.float16, device='cuda', non_blocking=True)

output_ids = model.generate(
    input_ids,
    images=images,
    do_sample=False,
    eos_token_id=terminators,
    num_beams=1,
    max_new_tokens=512,
    use_cache=True)

input_token_len = input_ids.shape[1]
outputs = tokenizer.batch_decode(output_ids[:, input_token_len:], skip_special_tokens=True)[0]
outputs = outputs.strip()
print(outputs)

✨ 主要特性

• 多輪文本 - 圖像對話：360VL 可以同時接受文本和圖像作為輸入，並輸出文本。目前，它支持單張圖像的多輪視覺問答。
• 雙語文本支持：360VL 支持中英文對話，包括圖像中的文本識別。
• 強大的圖像理解能力：360VL 擅長分析視覺信息，是從圖像中提取、整理和總結信息等任務的高效工具。
• 細粒度圖像分辨率：360VL 支持更高分辨率（672×672）的圖像理解。

📦 模型庫

360VL 已發佈以下版本：

📊 性能表現

📚 詳細文檔

模型類型

360VL - 70B 是一個通過在多模態指令跟隨數據上微調大語言模型（LLM）訓練得到的開源聊天機器人。它是一個基於 Transformer 架構的自迴歸語言模型。 基礎大語言模型：meta - llama/Meta - Llama - 3 - 70B - Instruct

模型訓練時間

360VL - 70B 於 2024 年 5 月完成訓練。

📄 許可證

本項目使用了一些數據集和檢查點，這些數據集和檢查點受其各自的原始許可證約束。用戶必須遵守這些原始許可證的所有條款和條件。 本項目內容本身採用 Apache 2.0 許可證。

反饋渠道： https://github.com/360CVGroup/360VL

🌟 相關項目

本工作離不開以下項目的優秀開源代碼，在此表示衷心感謝！

• Meta Llama 3
• LLaVA: Large Language and Vision Assistant
• Honeybee: Locality - enhanced Projector for Multimodal LLM

Github：https://github.com/360CVGroup/360VL