Sapnous VR 6B

🚀 Sapnous-6B: 世界認識を強化するビジョン言語モデル

Sapnous-6Bは、高度なマルチモーダル機能を通じて、世界の認識と理解を強化するために設計された最先端のビジョン言語モデルです。このモデルは、以前のビジョン言語アーキテクチャの成功を踏まえ、性能と効率に新たな改良を加えています。

🚀 クイックスタート

Sapnous-6Bを使用するには、以下のコードを参考にしてください。

from transformers import pipeline
import requests
from PIL import Image
from io import BytesIO

def process_image_from_url(image_url, text_prompt):
    """Processes an image from a URL using a Transformers pipeline."""
    try:
        # Fetch the image from the URL
        response = requests.get(image_url, stream=True)
        response.raise_for_status()  # Raise an exception for bad status codes (4xx or 5xx)

        # Open the image using PIL
        image = Image.open(BytesIO(response.content))

        # Create the input for the pipeline
        inputs = {"image": image, "text": text_prompt}

        # Initialize the pipeline
        pipe = pipeline("image-text-to-text", model="Sapnous-AI/Sapnous-VR-6B", trust_remote_code=True)

        # Process the image and text
        result = pipe(inputs)
        return result

    except requests.exceptions.RequestException as e:
        print(f"Error fetching image: {e}")
        return None
    except Exception as e:
        print(f"An error occurred: {e}")
        return None

# Example usage
image_url = "example.com" #replace with your image url.
text_prompt = "What is in this image?"

result = process_image_from_url(image_url, text_prompt)

if result:
    print(result)

✨ 主な機能

• マルチモーダルな理解と生成
• 高度なビジョンエンコーダによる強化された視覚認識
• 長いシーケンスの効率的な処理
• 様々なビジョン言語タスクでの堅牢な性能

📚 ドキュメント

モデルアーキテクチャ

スコア

マルチモーダルベンチマーク

推論と視覚理解ベンチマーク

モデルのロードとメモリ管理

このモデルは、効率的なロードとメモリ管理のために5つのsafetensorsファイルに分散されています。各ファイルには、model.safetensors.index.jsonに記載されている特定のレイヤーと重みが含まれています。

🔧 技術詳細

モデルは、効率的なロードとメモリ管理のために5つのsafetensorsファイルに分散されています。各ファイルには、model.safetensors.index.jsonに記載されている特定のレイヤーと重みが含まれています。

📄 ライセンス

使用条件と配布については、LICENSEファイルを参照してください。

引用

@misc{sapnous-6b,
    title = {Sapnous-6B},
    author = {Sapnous AI Team},
    year = {2025}
}

@article{Sapnous6B,
    title={Sapnous-6B: Enhancing Vision-Language Model's Perception of the World at Any Resolution},
    author={Sapnous AI Team},
    year={2025}
}

@article{Sapnous-VR,
    title={Sapnous-VR: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond},
    author={Sapnous AI Team},
    year={2025}
}