Asagi 14B

🚀 浅葱-14B：日本大型视觉语言模型

浅葱-14B是一款大规模的日本视觉语言模型（VLM），它基于丰富的日本数据集进行训练，融合了多种不同来源的数据，为图像与文本交互处理提供了强大的能力。

🚀 快速开始

环境要求

transformers==4.45.1
accelerate==0.34.2
torch==2.4.0
torchvision==0.19.0

使用方法

import requests
import torch
import transformers
from PIL import Image
from transformers import AutoModel, AutoProcessor, GenerationConfig

transformers.set_seed(42)
model_path = "MIL-UT/Asagi-14B"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModel.from_pretrained(
    model_path, trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

generation_config = GenerationConfig(
    do_sample=True,
    num_beams=5,
    max_new_tokens=256,
    temperature=0.7,
    repetition_penalty=1.5
)

prompt = ("以下是对任务的说明，请写出合适的回复。\n\n"
            "### 说明:\n<image>\n请查看此图像，并详细具体地回答以下问题。这张照片是在哪里拍摄的？另外，请详细描述图像的内容。\n\n### 回复:\n")

# 示例图像
sample_image_url = "https://raw.githubusercontent.com/uehara-mech/uehara-mech.github.io/refs/heads/master/images/shibuya.jpg"
image = Image.open(requests.get(sample_image_url, stream=True).raw)

inputs = processor(
    text=prompt, images=image, return_tensors="pt"
)
inputs_text = processor.tokenizer(prompt, return_tensors="pt")
inputs['input_ids'] = inputs_text['input_ids']
inputs['attention_mask'] = inputs_text['attention_mask']
for k, v in inputs.items():
    if v.dtype == torch.float32:
        inputs[k] = v.to(model.dtype)
inputs = {k: inputs[k].to(model.device) for k in inputs if k != "token_type_ids"}

generate_ids = model.generate(
    **inputs,
    generation_config=generation_config
)
generated_text = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

# 不打印提示信息
if "<image>" in prompt:
    prompt = prompt.replace("<image>", " ")
generated_text = generated_text.replace(prompt, "")

print(f"生成的文本: {generated_text}")

# >>> 生成的文本:  这张照片拍摄的是涩谷十字路口的夜景。涩谷十字路口是位于东京涩谷区的一个著名十字路口，以人来人往而闻名。照片中可以看到高楼大厦、霓虹灯招牌和路灯等，让人感受到城市的活力和能量。

示例

更多示例

✨ 主要特性

• 大规模日本数据集训练：浅葱-14B在广泛的日本数据集上进行训练，涵盖多种数据来源，确保对日本文化和语言有更深入的理解。
• 避免受限模型合成数据：在合成训练数据时，不使用许可证条款限制输出使用的大语言模型（如GPT - 4），保障数据使用的合规性。

📦 模型详情

模型描述

本仓库提供浅葱-14B，这是一款大规模的日本视觉语言模型（VLM）。它在大量的日本数据集上进行训练，融合了多种不同的数据来源。

大部分训练数据是使用日本大语言模型（[CALM3 - 22B - Chat](https://huggingface.co/cyberagent/calm3 - 22b - chat)）和英语视觉语言模型（[Phi3.5 - vision - instruct](https://huggingface.co/microsoft/Phi - 3.5 - vision - instruct)）等模型合成的。

重要的是，我们在合成训练数据时不使用许可证条款限制输出使用的大语言模型（如GPT - 4）。

模型组件

🔧 训练详情

训练数据

注：ROIS（自有）是专门为该项目从网络上爬取的新数据集，由图像和原始文本对组成，用于合成训练数据。

📚 评估

我们使用Heron - Bench、JA - VLM - Bench - in - the - Wild和JA - VG - VQA - 500对模型进行评估，并使用eval - mm库进行评估操作。

此处，带有“†”标记的模型未使用GPT生成的数据进行训练。粗体数字表示所有模型中的最佳性能，下划线数字表示未使用GPT生成数据训练的模型中的最佳性能。

⚠️ 风险与局限

此处发布的模型处于我们研发的早期阶段，尚未进行调优以确保输出符合人类意图和安全考量。

📄 许可证

本模型采用Apache - 2.0许可证。

📖 模型卡片作者

上原浩平