Internlm Xcomposer2 Vl 1 8b

🚀 InternLM-XComposer2

InternLM-XComposer2 は、InternLM2 をベースにした、高度なテキストと画像の理解および合成を行うためのビジョン言語大規模モデル（VLLM）です。このモデルは、テキストと画像の相互作用を深く理解し、様々なタスクで優れた性能を発揮します。

InternLM-XComposer2

当社では、InternLM-XComposer2シリーズを2つのバージョンでリリースしています。

• InternLM-XComposer2-VL: InternLM2をLLMの初期化とした事前学習済みのVLLMモデルで、様々なマルチモーダルベンチマークで強力な性能を発揮します。
• InternLM-XComposer2: 自由形式のテキストと画像の合成 用に微調整されたVLLM。

🚀 クイックスタート

🤗 Transformersを使用してInternLM-XComposerを使う方法を簡単な例で説明します。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# モデルとトークナイザーの初期化
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2-vl-1_8b', trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2-vl-1_8b', trust_remote_code=True)

query = '<ImageHere>Please describe this image in detail.'
image = './image1.webp'
with torch.cuda.amp.autocast():
  response, _ = model.chat(tokenizer, query=query, image=image, history=[], do_sample=False)
print(response)
# The image is a captivating photograph of a sunset over a mountainous landscape. The sky, painted in hues of orange and pink,
# serves as a backdrop for two silhouetted figures standing on the mountain. The text on the image, written in white, is a quote 
# from Oscar Wilde, which reads, "Live life with no excuses, travel with no regret." This quote, combined with the serene setting,
# serves as a powerful reminder to embrace life's journey without hesitation or regret.

💻 使用例

基本的な使用法

Transformersを使ってInternLM-XComposer2-VL-1.8Bモデルをロードするには、以下のコードを使用します。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
ckpt_path = "internlm/internlm-xcomposer2-vl-1_8b"
tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True).cuda()
# `torch_dtype=torch.float16` を設定して、モデルをfloat16でロードします。そうしないと、float32でロードされ、OOMエラーが発生する可能性があります。
model = AutoModelForCausalLM.from_pretrained(ckpt_path, torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

📄 ライセンス

コードはApache 2.0ライセンスの下で公開されており、モデルの重みは学術研究用に完全にオープンであり、商用利用も無料で許可されています。商用ライセンスを申請するには、申請書（英語）/申請表（中国語）に記入してください。その他の質問やコラボレーションについては、internlm@pjlab.org.cnまでご連絡ください。