360VL 8B

🚀 360VL

360VLは、LLama3言語モデルをベースに開発された、業界初のLLama3 - 70B[🤗Meta - Llama - 3 - 70B - Instruct]に基づくオープンソースの大規模マルチモーダルモデルです。360VLモデルは、Llama3言語モデルを適用するだけでなく、グローバルに認識可能なマルチブランチプロジェクターアーキテクチャを設計しており、これによりモデルはより十分な画像理解能力を備えることができます。

Github:https://github.com/360CVGroup/360VL

🚀 クイックスタート

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
from PIL import Image

checkpoint = "qihoo360/360VL-8B"

model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.float16, device_map='auto', trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
vision_tower = model.get_vision_tower()
vision_tower.load_model()
vision_tower.to(device="cuda", dtype=torch.float16)
image_processor = vision_tower.image_processor
tokenizer.pad_token = tokenizer.eos_token


image = Image.open("docs/008.jpg").convert('RGB')
query = "Who is this cartoon character?"
terminators = [
    tokenizer.convert_tokens_to_ids("<|eot_id|>",)
]

inputs = model.build_conversation_input_ids(tokenizer, query=query, image=image, image_processor=image_processor)

input_ids = inputs["input_ids"].to(device='cuda', non_blocking=True)
images = inputs["image"].to(dtype=torch.float16, device='cuda', non_blocking=True)

output_ids = model.generate(
    input_ids,
    images=images,
    do_sample=False,
    eos_token_id=terminators,
    num_beams=1,
    max_new_tokens=512,
    use_cache=True)

input_token_len = input_ids.shape[1]
outputs = tokenizer.batch_decode(output_ids[:, input_token_len:], skip_special_tokens=True)[0]
outputs = outputs.strip()
print(outputs)

✨ 主な機能

360VLは以下の機能を提供します。

• 複数ラウンドのテキスト - 画像会話: 360VLはテキストと画像の両方を入力として受け取り、テキスト出力を生成することができます。現在は、1枚の画像を用いた複数ラウンドの視覚的質問応答をサポートしています。
• バイリンガルテキストサポート: 360VLは英語と中国語の両方での会話をサポートしており、画像内のテキスト認識も含まれます。
• 強力な画像理解能力: 360VLは画像の分析に長けており、画像からの情報の抽出、整理、要約などのタスクに効率的なツールとなります。
• 細かい画像解像度サポート: 360VLは672×672の高解像度での画像理解をサポートしています。

📦 モデルツールボックス

360VLは以下のバージョンをリリースしています。

📊 性能

📚 詳細情報

モデルタイプ

360VL - 8Bは、マルチモーダル命令追従データでLLMをファインチューニングすることで学習されたオープンソースのチャットボットです。これはトランスフォーマーアーキテクチャに基づく自己回帰型言語モデルです。 ベースLLM: meta - llama/Meta - Llama - 3 - 8B - Instruct

モデル作成日

360VL - 8Bは2024年4月に学習されました。

📄 ライセンス

このプロジェクトは、それぞれ独自の元のライセンスに従う特定のデータセットとチェックポイントを利用しています。ユーザーはこれらの元のライセンスのすべての条件に準拠する必要があります。 このプロジェクト自体の内容は、Apacheライセンス2.0の下でライセンスされています。

モデルに関する質問やコメントを送る場所: https://github.com/360CVGroup/360VL

関連プロジェクト

この成果は、これらの素晴らしいオープンソースコードがなければ実現できません。大きな感謝を申し上げます！

• Meta Llama 3
• LLaVA: Large Language and Vision Assistant
• Honeybee: Locality - enhanced Projector for Multimodal LLM