Centurio Aya

🚀 Centurio Aya

Centurio Ayaは、画像とテキストを入力としてテキストを出力するオープンソースの多言語大規模ビジョン言語モデルです。このモデルは、多様な言語での画像とテキストの処理に対応しており、幅広い用途に利用できます。

✨ 主な機能

• 多言語対応: 100種類の言語での処理が可能です。
• 画像とテキストの入力: 画像とテキストを組み合わせた入力に対応しています。
• 多画像入力: 複数の画像を同時に入力することができます。

📦 インストール

このモデルはtransformersライブラリを通じて使用できます。以下のコードを参考にインストールしてください。

# 必要なライブラリのインストール
pip install transformers timm requests pillow

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoProcessor
import timm
from PIL import Image    
import requests

url = "https://upload.wikimedia.org/wikipedia/commons/b/bd/Golden_Retriever_Dukedestiny01_drvd.jpg"
image = Image.open(requests.get(url, stream=True).raw)

model_name = "WueNLP/centurio_aya"

processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)

## プロンプト内の画像の表示は '<image_placeholder>' で示されます！
prompt = "<image_placeholder>\nBriefly describe the image in German."

messages = [
    {"role": "user", "content": prompt}
]

text = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    trust_remote_code=True
)

model_inputs = processor(text=[text], images=[image], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=128
)

generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

高度な使用法

# 上記で再利用される変数
image_multi_1, image_multi_2 = [...] # 追加の画像を準備

prompt_multi = "What is the difference between the following images?\n<image_placeholder><image_placeholder>\nAnswer in German."

messages_multi = [
    {"role": "user", "content": prompt_multi}
]

text_multi = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = processor(text=[text, text_multi], images=[image, image_multi_1, image_multi_2], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=128
)

📚 ドキュメント

モデルの詳細

モデルのソース

• リポジトリ: gregor-ge.github.io/Centurio
• 論文: arXiv

🔧 技術詳細

• 大規模ビジョン言語モデルの一般的なバイアス、リスク、制限事項（幻覚や訓練データからのバイアスなど）が適用されます。
• これは研究プロジェクトであり、本番環境での使用は推奨されません。
• 多言語: 言語ごとに性能と生成品質に大きな差があります。
• OCR: 小さなテキストや非ラテン文字の書き込みに苦労します。

📄 ライセンス

この作品はCreative Commons Attribution Non Commercial 4.0ライセンスの下で公開されています。

📖 引用

@article{centurio2025,
  author       = {Gregor Geigle and
                  Florian Schneider and
                  Carolin Holtermann and
                  Chris Biemann and
                  Radu Timofte and
                  Anne Lauscher and
                  Goran Glava\v{s}},
  title        = {Centurio: On Drivers of Multilingual Ability of Large Vision-Language Model},
  journal      = {arXiv},
  volume       = {abs/2501.05122},
  year         = {2025},
  url          = {https://arxiv.org/abs/2501.05122},
  eprinttype    = {arXiv},
  eprint       = {2501.05122},
}