Aya Vision 8b

🚀 Cohere Labs Aya Vision 8B

Cohere Labs Aya Vision 8Bは、OCR、キャプショニング、視覚推論、要約、質問応答、コードなど、さまざまなビジョン言語のユースケースに最適化された高度な機能を備えた、80億パラメータのモデルのオープンウェイト研究リリースです。 このモデルは、ビジョンと言語の分野で23言語で優れた性能を発揮するように学習された多言語モデルです。

このモデルカードは、Aya Visionモデルの80億パラメータバージョンに対応しています。また、320億パラメータのバージョンもリリースしており、こちらで見ることができます。

🚀 クイックスタート

モデルの概要

• 開発元: Cohere Labs
• 問い合わせ先: Cohere Labs
• ライセンス: CC-BY-NC 。また、Cohere Labの許容使用ポリシーにも準拠する必要があります。
• モデル名: c4ai-aya-vision-8b
• モデルサイズ: 80億パラメータ
• コンテキスト長: 16K

試してみる

ウェイトをダウンロードする前に、Cohereプレイグラウンド または専用のHugging Face Space でAya Visionチャットを試すことができます。

WhatsApp統合

人気のメッセージングサービスであるWhatsAppを通じてAya Visionと会話することもできます。このリンク を使用して、Aya VisionとのWhatsAppチャットボックスを開きます。

マシンにWhatsAppがインストールされていない場合は、インストールする必要があります。また、携帯電話にWhatsAppがインストールされている場合は、画面の指示に従って携帯電話とWhatsApp Webをリンクすることができます。最後に、モデルとチャットするためのテキストウィンドウが表示されます。WhatsApp統合の詳細については、こちら を参照してください。

サンプルノートブック

さまざまなユースケースでAya Visionを使用する方法を理解するために、以下のノートブック をチェックすることもできます。

✨ 主な機能

Cohere Labs Aya Vision 8Bは、高度なビジョン言語機能を備えた多言語モデルです。以下のようなユースケースに最適化されています。

• OCR（光学式文字認識）
• キャプショニング（画像の説明生成）
• 視覚推論（画像に基づく推論）
• 要約（文章の要約生成）
• 質問応答（画像や文章に関する質問に答える）
• コード生成など

📦 インストール

transformersライブラリをソースリポジトリからインストールします。これには、このモデルに必要な変更が含まれています。

# pip install 'git+https://github.com/huggingface/transformers.git@v4.49.0-AyaVision'

💻 使用例

基本的な使用法

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id = "CohereLabs/aya-vision-8b"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id, device_map="auto", torch_dtype=torch.float16
)

# Format message with the aya-vision chat template
messages = [
    {"role": "user",
     "content": [
       {"type": "image", "url": "https://pbs.twimg.com/media/Fx7YvfQWYAIp6rZ?format=jpg&name=medium"},
        {"type": "text", "text": "चित्र में लिखा पाठ क्या कहता है?"},
    ]},
    ]

inputs = processor.apply_chat_template(
    messages, padding=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device)

gen_tokens = model.generate(
    **inputs, 
    max_new_tokens=300, 
    do_sample=True, 
    temperature=0.3,
)

print(processor.tokenizer.decode(gen_tokens[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

高度な使用法

transformersのpipeline抽象化を使用して、モデルを直接使用することもできます。

from transformers import pipeline

pipe = pipeline(model="CohereLabs/aya-vision-8b", task="image-text-to-text", device_map="auto")

# Format message with the aya-vision chat template
messages = [
    {"role": "user",
     "content": [
       {"type": "image", "url": "https://media.istockphoto.com/id/458012057/photo/istanbul-turkey.jpg?s=612x612&w=0&k=20&c=qogAOVvkpfUyqLUMr_XJQyq-HkACXyYUSZbKhBlPrxo="},
        {"type": "text", "text": "Bu resimde hangi anıt gösterilmektedir?"},
    ]},
    ]
outputs = pipe(text=messages, max_new_tokens=300, return_full_text=False)

print(outputs)

📚 ドキュメント

モデルの詳細

モデルの学習方法の詳細については、ブログ記事を参照してください。

評価

Aya Vision 8Bを、Pangea 7B、Llama-3.2 11B Vision、Molmo-D 7B、Qwen2.5-VL 7B、Pixtral 12B、Gemini Flash 1.5 8Bと比較して評価しました。評価には、Aya Vision Benchmarkとm-WildVisionを使用しました。勝率は、他のモデルと比較して優れた判断性能を持つclaude-3-7-sonnet-20250219をジャッジとして使用して決定されました。

また、テキストのみの入力に対するAya Vision 8Bの性能も、同じモデルと比較して評価しました。評価には、m-ArenaHardという難しいオープンエンド生成評価を使用し、勝率はgpt-4o-2024-11-20をジャッジとして使用して測定されました。

モデルカードの問い合わせ

このモデルカードの詳細に関するエラーや追加の質問については、labs@cohere.comまでお問い合わせください。

使用条件

このモデルのリリースにより、高性能な80億パラメータのビジョン言語モデルのウェイトを世界中の研究者に公開することで、コミュニティベースの研究活動がよりアクセスしやすくなることを期待しています。

このモデルは、CC-BY-NCに基づいて管理されており、Cohere Labの許容使用ポリシーにも準拠する必要があります。

📄 ライセンス

このモデルは、CC-BY-NCライセンスの下で提供されています。また、Cohere Labの許容使用ポリシーにも準拠する必要があります。