Internlm Xcomposer2 Vl 1 8b

🚀 InternLM-XComposer2

InternLM-XComposer2 是基于 InternLM2 的视觉语言大模型（VLLM），可实现高级的文本 - 图像理解与合成。

InternLM-XComposer2

我们发布了两个版本的 InternLM-XComposer2 系列模型：

• InternLM-XComposer2-VL：以 InternLM2 作为大语言模型（LLM）初始化的预训练 VLLM 模型，在各种多模态基准测试中表现出色。
• InternLM-XComposer2：针对“自由形式的文本 - 图像交错合成”进行微调的 VLLM 模型。

🚀 快速开始

我们提供一个简单的示例，展示如何使用 🤗 Transformers 库调用 InternLM-XComposer。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2-vl-1_8b', trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2-vl-1_8b', trust_remote_code=True)

query = '<ImageHere>Please describe this image in detail.'
image = './image1.webp'
with torch.cuda.amp.autocast():
  response, _ = model.chat(tokenizer, query=query, image=image, history=[], do_sample=False)
print(response)
# 图像是一幅迷人的照片，展示了山区风景上的日落。天空被染成橙色和粉色，为站在山上的两个剪影人物提供了背景。图像上用白色书写的文字是奥斯卡·王尔德的一句名言：“毫无借口地生活，毫无遗憾地旅行。”这句名言与宁静的场景相结合，有力地提醒人们毫不犹豫或遗憾地拥抱人生旅程。

✨ 主要特性

InternLM-XComposer2 具有以下特性：

• 基于强大的 InternLM2 基础，在多模态任务中表现出色。
• 提供两个版本，分别适用于不同的应用场景。

📦 安装指南

从 Transformers 库导入

要使用 Transformers 库加载 InternLM-XComposer2-VL-1.8B 模型，请使用以下代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
ckpt_path = "internlm/internlm-xcomposer2-vl-1_8b"
tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True).cuda()
# 设置 `torch_dtype=torch.float16` 以 float16 格式加载模型，否则将以 float32 格式加载，可能会导致 OOM 错误。
model = AutoModelForCausalLM.from_pretrained(ckpt_path, torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

📄 许可证

代码遵循 Apache 2.0 许可证，而模型权重完全开放用于学术研究，也允许免费商业使用。如需申请商业许可证，请填写申请表（英文/中文）。如有其他问题或合作需求，请联系 internlm@pjlab.org.cn。