Heron Chat Blip Ja Stablelm Base 7b V1

🚀 Heron BLIP 日語 StableLM Base 7B v1

Heron BLIP 日語 StableLM Base 7B 是一款視覺語言模型，能夠針對輸入的圖像進行對話交流，為圖像理解和交互提供了強大的支持。

🚀 快速開始

按照 安裝指南 進行操作。

✨ 主要特性

• 能夠針對輸入的圖像進行對話交流，為圖像理解和交互提供支持。
• 基於 BLIP2 適配器類型，結合 日語 StableLM Base Alpha 語言模型。
• 使用 LLaVA-Instruct-150K-JA 數據集進行全量微調。

📦 安裝指南

請參考 安裝指南 完成安裝。

💻 使用示例

基礎用法

import torch
from heron.models.video_blip import VideoBlipForConditionalGeneration, VideoBlipProcessor
from transformers import LlamaTokenizer

device_id = 0
device = f"cuda:{device_id}"

MODEL_NAME = "turing-motors/heron-chat-blip-ja-stablelm-base-7b-v1"
    
model = VideoBlipForConditionalGeneration.from_pretrained(
    MODEL_NAME, torch_dtype=torch.float16, ignore_mismatched_sizes=True
)

model = model.half()
model.eval()
model.to(device)

# prepare a processor
processor = VideoBlipProcessor.from_pretrained("Salesforce/blip2-opt-2.7b")
tokenizer = LlamaTokenizer.from_pretrained("novelai/nerdstash-tokenizer-v1", additional_special_tokens=['▁▁'])
processor.tokenizer = tokenizer

import requests
from PIL import Image

# prepare inputs
url = "https://www.barnorama.com/wp-content/uploads/2016/12/03-Confusing-Pictures.jpg"
image = Image.open(requests.get(url, stream=True).raw)

text = f"##human: この畫像の面白い點は何ですか?\n##gpt: "

# do preprocessing
inputs = processor(
    text=text,
    images=image,
    return_tensors="pt",
    truncation=True,
)

inputs = {k: v.to(device) for k, v in inputs.items()}
inputs["pixel_values"] = inputs["pixel_values"].to(device, torch.float16)

# set eos token
eos_token_id_list = [
    processor.tokenizer.pad_token_id,
    processor.tokenizer.eos_token_id,
    int(tokenizer.convert_tokens_to_ids("##"))
]

# do inference
with torch.no_grad():
    out = model.generate(**inputs, max_length=256, do_sample=False, temperature=0., eos_token_id=eos_token_id_list, no_repeat_ngram_size=2)

# print result
print(processor.tokenizer.batch_decode(out))

📚 詳細文檔

模型詳情

訓練

本模型使用 LLaVA-Instruct-150K-JA 數據集進行全量微調。

訓練數據集

• LLaVA-Instruct-150K-JA

使用與限制

預期用途

本模型旨在用於類似聊天的應用程序以及研究目的。

限制

該模型可能會產生不準確或錯誤的信息，其準確性無法保證，目前仍處於研發階段。

如何引用

@misc{BlipJapaneseStableLM, 
    url    = {[https://huggingface.co/turing-motors/heron-chat-blip-ja-stablelm-base-7b-v0](https://huggingface.co/turing-motors/heron-chat-blip-ja-stablelm-base-7b-v0)}, 
    title  = {Heron BLIP Japanese StableLM Base 7B}, 
    author = {Kotaro Tanahashi, Yuichi Inoue, and Yu Yamaguchi}
}

引用文獻

@misc{JapaneseInstructBLIPAlpha, 
    url    = {[https://huggingface.co/stabilityai/japanese-instructblip-alpha](https://huggingface.co/stabilityai/japanese-instructblip-alpha)}, 
    title  = {Japanese InstructBLIP Alpha}, 
    author = {Shing, Makoto and Akiba, Takuya}
}

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。