# クロスモーダル推論

Gemma 3nはGoogleが開発した軽量で最先端のオープンソースのマルチモーダルモデルファミリーで、Geminiモデルと同じ研究と技術に基づいて構築され、テキスト、オーディオ、ビジュアル入力をサポートします。

Ristrettoは革新的な視覚言語モデルで、動的画像トークン配置技術を採用し、タスクの要求に応じて画像トークン数を柔軟に調整でき、性能と多機能性において前世代製品を凌駕します。

Qwen2-VL-2B-Instruct はマルチモーダル視覚言語モデルで、画像テキストからテキストへのタスクをサポートします。

これは画像テキストからテキストへの変換モデルで、画像とテキスト入力を処理し、対応するテキスト出力を生成できます。

Aya Vision 32BはCohereラボが開発したオープンウェイト32Bパラメータのマルチモーダルモデルで、23言語の視覚言語タスクをサポートします。

ChatTimeは時系列データとテキストを統一的に処理するマルチモーダル基盤モデルで、ゼロショット予測能力を備え、時系列とテキストの双方向入出力をサポートします。

ChemVLMは化学分野に特化したマルチモーダル大規模言語モデルで、テキストと画像処理能力を統合しています。

MetaカメレオンはFAIRが開発した混合モーダル早期融合基盤モデルで、画像とテキストのマルチモーダル処理をサポートします。

BLIP-2-OPT-2.7Bを基に訓練された一人称視点ビデオ最適化視覚言語モデル、EILEV革新手法でコンテキスト学習能力を喚起

CogVLMは強力なオープンソースの視覚言語モデルで、複数のクロスモーダルベンチマークでリーダーボード性能を達成

Pix2Structは画像エンコーダ-テキストデコーダモデルで、マルチタスク訓練により視覚言語理解タスクを処理し、特に高解像度インフォグラフィックの視覚的質問応答に最適化されています。

このモデルは、マイクロソフトのLayoutLMv3事前学習モデルを基に、マルチページドキュメントQA（MP-DocVQA）データセットでファインチューニングされたドキュメント視覚QAモデルです。