Asagi 8B

🚀 淺蔥-8B模型

淺蔥-8B是一個大規模的日語視覺與語言模型（VLM），它在廣泛的日語數據集上進行訓練，整合了多種不同的數據來源，能有效處理圖像文本相關任務。

🚀 快速開始

環境要求

transformers==4.45.1
accelerate==0.34.2
torch==2.4.0
torchvision==0.19.0

使用方法

import requests
import torch
import transformers
from PIL import Image
from transformers import AutoModel, AutoProcessor, GenerationConfig

transformers.set_seed(42)
model_path = "MIL-UT/Asagi-8B"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModel.from_pretrained(
    model_path, trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

generation_config = GenerationConfig(
    do_sample=True,
    num_beams=5,
    max_new_tokens=256,
    temperature=0.7,
    repetition_penalty=1.5
)

prompt = ("以下是對任務的說明，請根據要求給出合適的回答。\n\n"
            "### 說明:\n<image>\n請仔細查看這張圖片，並詳細具體地回答以下問題。這張照片是在哪裡拍攝的？請詳細描述圖片的內容。\n\n### 回答:\n")

# 示例圖片
sample_image_url = "https://raw.githubusercontent.com/uehara-mech/uehara-mech.github.io/refs/heads/master/images/shibuya.jpg"
image = Image.open(requests.get(sample_image_url, stream=True).raw)

inputs = processor(
    text=prompt, images=image, return_tensors="pt"
)
inputs_text = processor.tokenizer(prompt, return_tensors="pt")
inputs['input_ids'] = inputs_text['input_ids']
inputs['attention_mask'] = inputs_text['attention_mask']
for k, v in inputs.items():
    if v.dtype == torch.float32:
        inputs[k] = v.to(model.dtype)
inputs = {k: inputs[k].to(model.device) for k in inputs if k != "token_type_ids"}

generate_ids = model.generate(
    **inputs,
    generation_config=generation_config
)
generated_text = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

# 不打印提示信息
if "<image>" in prompt:
    prompt = prompt.replace("<image>", " ")
generated_text = generated_text.replace(prompt, "")

print(f"生成的文本: {generated_text}")

# >>> 生成的文本:  這張照片拍攝的是東京銀座的夜景。銀座是東京最具代表性的繁華街區之一，許多高樓大廈林立，霓虹燈和路燈的光芒交相輝映。特別引人注目的是，位於中央的“銀座水晶大廈”，其獨特的鐘樓給人留下深刻的印象。穿梭於樓宇間的車輛和行人，讓人感受到都市的活力。

示例

注意：這張圖片實際拍攝於澀谷，而非銀座。

更多示例

✨ 主要特性

本倉庫提供了淺蔥-8B，這是一個大規模的日語視覺與語言模型（VLM）。它具有以下特性：

• 豐富的訓練數據：在廣泛的日語數據集上進行訓練，整合了多種不同的數據來源。
• 合成數據的使用：部分訓練數據是使用日語大語言模型（如[CALM3 - 22B - Chat](https://huggingface.co/cyberagent/calm3 - 22b - chat)）和英語視覺與語言模型（如[Phi3.5 - vision - instruct](https://huggingface.co/microsoft/Phi - 3.5 - vision - instruct)）合成的。
• 避免受限模型：在合成訓練數據時，不使用許可證條款限制輸出使用的大語言模型（如GPT - 4）。
• 跳過階段一訓練：與淺蔥系列的其他模型不同，淺蔥 - 8B跳過了階段一的訓練。

📦 安裝指南

安裝所需的庫，可使用以下命令：

pip install transformers==4.45.1 accelerate==0.34.2 torch==2.4.0 torchvision==0.19.0

📚 詳細文檔

模型詳情

訓練詳情

注意：淺蔥 - 8B跳過了階段一的訓練。

注意：ROIS（自有）是專門為該項目從網絡上爬取的新數據集，由圖像和原始文本對組成，用於合成訓練數據。

評估

使用Heron - Bench、JA - VLM - Bench - in - the - Wild和JA - VG - VQA - 500對模型進行評估，評估使用了eval - mm庫。

以下表格中，帶有“†”的模型未使用GPT生成的數據進行訓練。粗體數字表示所有模型中的最佳性能，下劃線數字表示未使用GPT生成數據訓練的模型中的最佳性能。

🔧 技術細節

模型架構

• 視覺編碼器：採用[siglip - so400m - patch14 - 384](https://huggingface.co/google/siglip - so400m - patch14 - 384)，參數數量為4.28億。
• 投影器：使用2層MLP，參數數量為4300萬。
• 大語言模型：選用[llm - jp - 3 - 7.2b - instruct](https://huggingface.co/llm - jp/llm - jp - 3 - 7.2b - instruct)，參數數量為72億。

訓練過程

淺蔥 - 8B跳過了階段一的訓練，在階段二使用了多種數據集進行訓練，包括合成數據和翻譯數據。

評估指標

使用Heron - Bench、JA - VLM - Bench - in - the - Wild和JA - VG - VQA - 500等評估指標，從不同方面評估模型的性能。

📄 許可證

本項目採用Apache - 2.0許可證。

⚠️ 風險與限制

本項目發佈的模型處於研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

👨‍💻 模型卡片作者

上原浩平（Kohei Uehara）