Asagi 14B

🚀 淺蔥-14B：日本大型視覺語言模型

淺蔥-14B是一款大規模的日本視覺語言模型（VLM），它基於豐富的日本數據集進行訓練，融合了多種不同來源的數據，為圖像與文本交互處理提供了強大的能力。

🚀 快速開始

環境要求

transformers==4.45.1
accelerate==0.34.2
torch==2.4.0
torchvision==0.19.0

使用方法

import requests
import torch
import transformers
from PIL import Image
from transformers import AutoModel, AutoProcessor, GenerationConfig

transformers.set_seed(42)
model_path = "MIL-UT/Asagi-14B"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModel.from_pretrained(
    model_path, trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

generation_config = GenerationConfig(
    do_sample=True,
    num_beams=5,
    max_new_tokens=256,
    temperature=0.7,
    repetition_penalty=1.5
)

prompt = ("以下是對任務的說明，請寫出合適的回覆。\n\n"
            "### 說明:\n<image>\n請查看此圖像，並詳細具體地回答以下問題。這張照片是在哪裡拍攝的？另外，請詳細描述圖像的內容。\n\n### 回覆:\n")

# 示例圖像
sample_image_url = "https://raw.githubusercontent.com/uehara-mech/uehara-mech.github.io/refs/heads/master/images/shibuya.jpg"
image = Image.open(requests.get(sample_image_url, stream=True).raw)

inputs = processor(
    text=prompt, images=image, return_tensors="pt"
)
inputs_text = processor.tokenizer(prompt, return_tensors="pt")
inputs['input_ids'] = inputs_text['input_ids']
inputs['attention_mask'] = inputs_text['attention_mask']
for k, v in inputs.items():
    if v.dtype == torch.float32:
        inputs[k] = v.to(model.dtype)
inputs = {k: inputs[k].to(model.device) for k in inputs if k != "token_type_ids"}

generate_ids = model.generate(
    **inputs,
    generation_config=generation_config
)
generated_text = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

# 不打印提示信息
if "<image>" in prompt:
    prompt = prompt.replace("<image>", " ")
generated_text = generated_text.replace(prompt, "")

print(f"生成的文本: {generated_text}")

# >>> 生成的文本:  這張照片拍攝的是澀谷十字路口的夜景。澀谷十字路口是位於東京澀谷區的一個著名十字路口，以人來人往而聞名。照片中可以看到高樓大廈、霓虹燈招牌和路燈等，讓人感受到城市的活力和能量。

示例

更多示例

✨ 主要特性

• 大規模日本數據集訓練：淺蔥-14B在廣泛的日本數據集上進行訓練，涵蓋多種數據來源，確保對日本文化和語言有更深入的理解。
• 避免受限模型合成數據：在合成訓練數據時，不使用許可證條款限制輸出使用的大語言模型（如GPT - 4），保障數據使用的合規性。

📦 模型詳情

模型描述

本倉庫提供淺蔥-14B，這是一款大規模的日本視覺語言模型（VLM）。它在大量的日本數據集上進行訓練，融合了多種不同的數據來源。

大部分訓練數據是使用日本大語言模型（[CALM3 - 22B - Chat](https://huggingface.co/cyberagent/calm3 - 22b - chat)）和英語視覺語言模型（[Phi3.5 - vision - instruct](https://huggingface.co/microsoft/Phi - 3.5 - vision - instruct)）等模型合成的。

重要的是，我們在合成訓練數據時不使用許可證條款限制輸出使用的大語言模型（如GPT - 4）。

模型組件

🔧 訓練詳情

訓練數據

注：ROIS（自有）是專門為該項目從網絡上爬取的新數據集，由圖像和原始文本對組成，用於合成訓練數據。

📚 評估

我們使用Heron - Bench、JA - VLM - Bench - in - the - Wild和JA - VG - VQA - 500對模型進行評估，並使用eval - mm庫進行評估操作。

此處，帶有“†”標記的模型未使用GPT生成的數據進行訓練。粗體數字表示所有模型中的最佳性能，下劃線數字表示未使用GPT生成數據訓練的模型中的最佳性能。

⚠️ 風險與侷限

此處發佈的模型處於我們研發的早期階段，尚未進行調優以確保輸出符合人類意圖和安全考量。

📄 許可證

本模型採用Apache - 2.0許可證。

📖 模型卡片作者

上原浩平