Internlm Xcomposer2 Vl 7b 4bit

🚀 InternLM-XComposer2

InternLM-XComposer2 は、InternLM2 をベースにした、高度なテキストと画像の理解および合成を行うためのビジョン言語大規模モデル（VLLM）です。このモデルは、テキストと画像の相互作用を深く理解し、それらを効果的に合成することができます。

InternLM-XComposer2

当社では、InternLM-XComposer2シリーズを2つのバージョンでリリースしています。

• InternLM-XComposer2-VL: LLMの初期化としてInternLM2を使用した事前学習済みのVLLMモデルで、様々なマルチモーダルベンチマークで強力な性能を発揮します。
• InternLM-XComposer2: 自由形式のテキストと画像の合成 用に微調整されたVLLMです。

これはInternLM-XComposer2-VLの4ビットバージョンです。使用する前に、auto_gptq の最新バージョンをインストールしてください。

🚀 クイックスタート

🤗 Transformersを使用してInternLM-XComposerを使う方法を簡単な例で紹介します。

import torch, auto_gptq
from transformers import AutoModel, AutoTokenizer 
from auto_gptq.modeling import BaseGPTQForCausalLM

auto_gptq.modeling._base.SUPPORTED_MODELS = ["internlm"]
torch.set_grad_enabled(False)

class InternLMXComposer2QForCausalLM(BaseGPTQForCausalLM):
    layers_block_name = "model.layers"
    outside_layer_modules = [
        'vit', 'vision_proj', 'model.tok_embeddings', 'model.norm', 'output', 
    ]
    inside_layer_modules = [
        ["attention.wqkv.linear"],
        ["attention.wo.linear"],
        ["feed_forward.w1.linear", "feed_forward.w3.linear"],
        ["feed_forward.w2.linear"],
    ]
 
# init model and tokenizer
model = InternLMXComposer2QForCausalLM.from_quantized(
  'internlm/internlm-xcomposer2-vl-7b-4bit', trust_remote_code=True, device="cuda:0").eval()
tokenizer = AutoTokenizer.from_pretrained(
  'internlm/internlm-xcomposer2-vl-7b-4bit', trust_remote_code=True)

text = '<ImageHere>Please describe this image in detail.'
image = 'examples/image1.webp'
with torch.cuda.amp.autocast(): 
  response, _ = model.chat(tokenizer, query=query, image=image, history=[], do_sample=False) 
print(response)
#The image features a quote by Oscar Wilde, "Live life with no excuses, travel with no regrets." 
#The quote is displayed in white text against a dark background. In the foreground, there are two silhouettes of people standing on a hill at sunset. 
#They appear to be hiking or climbing, as one of them is holding a walking stick. 
#The sky behind them is painted with hues of orange and purple, creating a beautiful contrast with the dark figures.

📄 ライセンス

コードはApache 2.0ライセンスの下で提供されています。一方、モデルの重みは学術研究用に完全にオープンであり、無料の商用利用も許可されています。商用ライセンスを申請するには、申請書（英語）/申請表（中国語）に記入してください。その他の質問やコラボレーションについては、internlm@pjlab.org.cnまでご連絡ください。