Internlm Xcomposer2 Vl 7b

🚀 InternLM-XComposer2

InternLM-XComposer2 は、InternLM2 をベースにしたビジョン言語大規模モデル（VLLM）で、高度なテキストと画像の理解および合成を実現します。

InternLM-XComposer2

InternLM-XComposer2シリーズは2つのバージョンでリリースされています：

• InternLM-XComposer2-VL：LLMの初期化としてInternLM2を使用した事前学習済みVLLMモデルで、様々なマルチモーダルベンチマークで強力な性能を発揮します。
• InternLM-XComposer2：Free-from Interleaved Text-Image Composition 用に微調整されたVLLM。

🚀 クイックスタート

🤗 Transformersを使用してInternLM-XComposerを使う簡単な例を紹介します。

基本的な使用法

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# init model and tokenizer
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2-vl-7b', trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2-vl-7b', trust_remote_code=True)

query = '<ImageHere>Please describe this image in detail.'
image = './image1.webp'
with torch.cuda.amp.autocast():
  response, _ = model.chat(tokenizer, query=query, image=image, history=[], do_sample=False)
print(response)
#The image features a quote by Oscar Wilde, "Live life with no excuses, travel with no regret,"
# set against a backdrop of a breathtaking sunset. The sky is painted in hues of pink and orange,
# creating a serene atmosphere. Two silhouetted figures stand on a cliff, overlooking the horizon.
# They appear to be hiking or exploring, embodying the essence of the quote.
# The overall scene conveys a sense of adventure and freedom, encouraging viewers to embrace life without hesitation or regrets.

Transformersからのインポート

Transformersを使用してInternLM-XComposer2-VL-7Bモデルをロードするには、以下のコードを使用します。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
ckpt_path = "internlm/internlm-xcomposer2-vl-7b"
tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True).cuda()
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained(ckpt_path, torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

📄 ライセンス

コードはApache 2.0ライセンスの下で提供されています。一方、モデルの重みは学術研究用に完全にオープンであり、商用利用も無料で許可されています。商用ライセンスを申請するには、申請フォーム（英語）/申請表（日本語）に記入してください。その他の質問やコラボレーションについては、internlm@pjlab.org.cnまでご連絡ください。