Asagi 8B

🚀 浅葱-8B模型

浅葱-8B是一个大规模的日语视觉与语言模型（VLM），它在广泛的日语数据集上进行训练，整合了多种不同的数据来源，能有效处理图像文本相关任务。

🚀 快速开始

环境要求

transformers==4.45.1
accelerate==0.34.2
torch==2.4.0
torchvision==0.19.0

使用方法

import requests
import torch
import transformers
from PIL import Image
from transformers import AutoModel, AutoProcessor, GenerationConfig

transformers.set_seed(42)
model_path = "MIL-UT/Asagi-8B"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModel.from_pretrained(
    model_path, trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

generation_config = GenerationConfig(
    do_sample=True,
    num_beams=5,
    max_new_tokens=256,
    temperature=0.7,
    repetition_penalty=1.5
)

prompt = ("以下是对任务的说明，请根据要求给出合适的回答。\n\n"
            "### 说明:\n<image>\n请仔细查看这张图片，并详细具体地回答以下问题。这张照片是在哪里拍摄的？请详细描述图片的内容。\n\n### 回答:\n")

# 示例图片
sample_image_url = "https://raw.githubusercontent.com/uehara-mech/uehara-mech.github.io/refs/heads/master/images/shibuya.jpg"
image = Image.open(requests.get(sample_image_url, stream=True).raw)

inputs = processor(
    text=prompt, images=image, return_tensors="pt"
)
inputs_text = processor.tokenizer(prompt, return_tensors="pt")
inputs['input_ids'] = inputs_text['input_ids']
inputs['attention_mask'] = inputs_text['attention_mask']
for k, v in inputs.items():
    if v.dtype == torch.float32:
        inputs[k] = v.to(model.dtype)
inputs = {k: inputs[k].to(model.device) for k in inputs if k != "token_type_ids"}

generate_ids = model.generate(
    **inputs,
    generation_config=generation_config
)
generated_text = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

# 不打印提示信息
if "<image>" in prompt:
    prompt = prompt.replace("<image>", " ")
generated_text = generated_text.replace(prompt, "")

print(f"生成的文本: {generated_text}")

# >>> 生成的文本:  这张照片拍摄的是东京银座的夜景。银座是东京最具代表性的繁华街区之一，许多高楼大厦林立，霓虹灯和路灯的光芒交相辉映。特别引人注目的是，位于中央的“银座水晶大厦”，其独特的钟楼给人留下深刻的印象。穿梭于楼宇间的车辆和行人，让人感受到都市的活力。

示例

注意：这张图片实际拍摄于涩谷，而非银座。

更多示例

✨ 主要特性

本仓库提供了浅葱-8B，这是一个大规模的日语视觉与语言模型（VLM）。它具有以下特性：

• 丰富的训练数据：在广泛的日语数据集上进行训练，整合了多种不同的数据来源。
• 合成数据的使用：部分训练数据是使用日语大语言模型（如[CALM3 - 22B - Chat](https://huggingface.co/cyberagent/calm3 - 22b - chat)）和英语视觉与语言模型（如[Phi3.5 - vision - instruct](https://huggingface.co/microsoft/Phi - 3.5 - vision - instruct)）合成的。
• 避免受限模型：在合成训练数据时，不使用许可证条款限制输出使用的大语言模型（如GPT - 4）。
• 跳过阶段一训练：与浅葱系列的其他模型不同，浅葱 - 8B跳过了阶段一的训练。

📦 安装指南

安装所需的库，可使用以下命令：

pip install transformers==4.45.1 accelerate==0.34.2 torch==2.4.0 torchvision==0.19.0

📚 详细文档

模型详情

训练详情

注意：浅葱 - 8B跳过了阶段一的训练。

注意：ROIS（自有）是专门为该项目从网络上爬取的新数据集，由图像和原始文本对组成，用于合成训练数据。

评估

使用Heron - Bench、JA - VLM - Bench - in - the - Wild和JA - VG - VQA - 500对模型进行评估，评估使用了eval - mm库。

以下表格中，带有“†”的模型未使用GPT生成的数据进行训练。粗体数字表示所有模型中的最佳性能，下划线数字表示未使用GPT生成数据训练的模型中的最佳性能。

🔧 技术细节

模型架构

• 视觉编码器：采用[siglip - so400m - patch14 - 384](https://huggingface.co/google/siglip - so400m - patch14 - 384)，参数数量为4.28亿。
• 投影器：使用2层MLP，参数数量为4300万。
• 大语言模型：选用[llm - jp - 3 - 7.2b - instruct](https://huggingface.co/llm - jp/llm - jp - 3 - 7.2b - instruct)，参数数量为72亿。

训练过程

浅葱 - 8B跳过了阶段一的训练，在阶段二使用了多种数据集进行训练，包括合成数据和翻译数据。

评估指标

使用Heron - Bench、JA - VLM - Bench - in - the - Wild和JA - VG - VQA - 500等评估指标，从不同方面评估模型的性能。

📄 许可证

本项目采用Apache - 2.0许可证。

⚠️ 风险与限制

本项目发布的模型处于研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

👨‍💻 模型卡片作者

上原浩平（Kohei Uehara）