360VL 70B

🚀 360VL

360VLはLLama3言語モデルをベースに開発された、業界初のLLama3 - 70B[[🤗Meta - Llama - 3 - 70B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3 - 70B - Instruct)]に基づくオープンソースの大規模マルチモーダルモデルです。このモデルは、Llama3言語モデルを適用するだけでなく、グローバルな認識を持つマルチブランチプロジェクターアーキテクチャを設計しており、画像理解能力を向上させています。

Github:https://github.com/360CVGroup/360VL

🚀 クイックスタート

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
from PIL import Image

checkpoint = "qihoo360/360VL-70B"

model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.float16, device_map='auto', trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
vision_tower = model.get_vision_tower()
vision_tower.load_model()
vision_tower.to(device="cuda", dtype=torch.float16)
image_processor = vision_tower.image_processor
tokenizer.pad_token = tokenizer.eos_token


image = Image.open("docs/008.jpg").convert('RGB')
query = "Who is this cartoon character?"
terminators = [
    tokenizer.convert_tokens_to_ids("<|eot_id|>",)
]

inputs = model.build_conversation_input_ids(tokenizer, query=query, image=image, image_processor=image_processor)

input_ids = inputs["input_ids"].to(device='cuda', non_blocking=True)
images = inputs["image"].to(dtype=torch.float16, device='cuda', non_blocking=True)

output_ids = model.generate(
    input_ids,
    images=images,
    do_sample=False,
    eos_token_id=terminators,
    num_beams=1,
    max_new_tokens=512,
    use_cache=True)

input_token_len = input_ids.shape[1]
outputs = tokenizer.batch_decode(output_ids[:, input_token_len:], skip_special_tokens=True)[0]
outputs = outputs.strip()
print(outputs)

✨ 主な機能

360VLには以下の機能があります。

• 複数ラウンドのテキストと画像の会話: 360VLはテキストと画像の両方を入力として受け取り、テキスト出力を生成できます。現在は、1枚の画像を使った複数ラウンドのビジュアル質問応答をサポートしています。
• 二言語テキストサポート: 360VLは英語と中国語の両方での会話をサポートしており、画像内のテキスト認識も可能です。
• 強力な画像理解能力: 360VLは画像の分析に優れており、画像から情報を抽出、整理、要約するなどのタスクに効率的です。
• 細かい画像解像度: 360VLは672×672という高解像度の画像理解をサポートしています。

📦 モデルダウンロード

360VLは以下のバージョンをリリースしています。

📊 性能

📚 詳細情報

モデルタイプ

360VL - 70Bは、マルチモーダル命令追従データでLLMをファインチューニングして学習されたオープンソースチャットボットです。これはトランスフォーマーアーキテクチャに基づく自己回帰型言語モデルです。 ベースLLM: [meta - llama/Meta - Llama - 3 - 70B - Instruct](https://huggingface.co/meta - llama/Meta - Llama - 3 - 70B - Instruct)

モデル学習日

360VL - 70Bは2024年5月に学習されました。

📄 ライセンス

このプロジェクトは、それぞれ独自の元のライセンスに従う特定のデータセットとチェックポイントを利用しています。ユーザーはこれらの元のライセンスのすべての条件に従わなければなりません。 このプロジェクト自体の内容は、Apacheライセンス2.0の下でライセンスされています。

モデルに関する質問やコメントを送る場所: https://github.com/360CVGroup/360VL

関連プロジェクト

この研究は、これらの素晴らしいオープンソースコードがなければ不可能でした。大きな感謝を申し上げます！

• [Meta Llama 3](https://github.com/meta - llama/llama3)
• [LLaVA: Large Language and Vision Assistant](https://github.com/haotian - liu/LLaVA)
• Honeybee: Locality - enhanced Projector for Multimodal LLM