# マルチモーダルモデル

SpaceOm-GGUFは、視覚質問応答タスクに特化したマルチモーダルモデルで、空間推論において優れた性能を発揮します。

PP-Chart2TableはPaddlePaddleチームによって開発されたマルチモーダルモデルで、中英語のグラフ解析に特化しており、グラフを効率的にデータテーブルに変換することができます。

Gemma 3はGoogleが提供する軽量で先進的なオープンモデルシリーズで、Geminiモデルを作成したのと同じ研究と技術に基づいています。このモデルはマルチモーダルで、テキストと画像の入力を処理し、テキスト出力を生成できます。

このモデルはQwen2-VL-7B-Captioner-RelaxedをGGUF形式に変換したバージョンで、画像からテキストへのタスクに最適化されており、llama.cppやKoboldcppなどのツールで実行可能です。

日本語CLIPモデル、OpenCLIPフレームワークで訓練され、ゼロショット画像分類タスクをサポート

ViT-GPT2アーキテクチャに基づく画像キャプション生成モデルで、入力画像に対して自然言語の説明を生成できます。

ViT-GPT2アーキテクチャに基づく画像キャプション生成モデルで、入力画像に対して自然言語の説明を生成できます。

Florence-2モデルを微調整したマルチモーダルな表検出モデルで、画像内の表領域を正確に位置特定できます。

実験的な視覚モデルで、キーワードタグと長文記述を融合して画像プロンプトを生成

google/paligemma-3b-mix-448をファインチューニングしたマルチモーダル表検出モデルで、画像内の表領域を識別するために特化

このモデルは、google/paligemma-3b-pt-224をVQAv2データセットの一部でファインチューニングしたバージョンで、視覚的質問応答タスクに特化しています。

PaliGemma-3bモデルをDocCIデータセットでファインチューニングした画像キャプション生成モデル。200-350文字の詳細な説明文を生成可能で、幻覚現象を低減

Compare2Scoreは画像品質評価に使用されるモデルで、特定のアルゴリズムを通じて画像に品質スコアを付けます。

CheXagentは胸部X線読影に特化した基礎モデルで、医療画像解析を支援することを目的としています。

これはViTとトルコ語GPT-2に基づくビジュアルエンコーダ-デコーダモデルで、トルコ語の画像キャプションを生成するために使用されます。

ViTアーキテクチャに基づくCLIPモデル、ゼロショット画像分類タスク用

CheXagentは胸部X線画像の自動分析と解釈に特化した基礎モデルです。

SigLIPはWebLiデータセットで事前学習されたマルチモーダルモデルで、改良されたSigmoid損失関数を採用しており、ゼロショット画像分類や画像テキスト検索タスクに適しています。

SigLIPはWebLiデータセットで事前学習された視覚言語モデルで、改良されたシグモイド損失関数により性能を向上

SigLIPはWebLiデータセットで事前学習された視覚-言語モデルで、改良されたシグモイド損失関数を採用し、画像分類と画像テキスト検索タスクで優れた性能を発揮します。

中国語CLIPモデル、Vision Transformerアーキテクチャに基づき、画像とテキストのクロスモーダル理解と生成をサポート。

ChartLlamaはLLaVA-1.5アーキテクチャに基づくマルチモーダルモデルで、グラフ理解と分析タスクに特化しています。

SigLIPはWebLiデータセットで事前学習された視覚言語モデルで、改良されたSigmoid損失関数を採用し、画像-テキストマッチングタスクを最適化

このモデルはSalesforceのBLIP画像キャプション生成ベースモデルをSageMakerプラットフォームで微調整したバージョンで、主に画像キャプション生成タスクに使用されます。

Swin TransformerとAraGPT2アーキテクチャに基づく画像キャプション生成モデルで、入力画像に対してテキスト記述を生成できます。

microsoft/git-baseを画像フォルダデータセットでファインチューニングした視覚言語モデルで、主に画像キャプション生成タスクに使用されます

これはBLIP-2モデルのシャーディングバージョンで、Flan T5-xlを使用して画像からテキストへのタスク（画像キャプションや視覚的質問応答など）を実現します。シャーディング処理により、低メモリ環境でもロード可能です。

VisionEncoderDecoderアーキテクチャに基づく画像キャプション生成モデルで、入力画像を自然言語の説明に変換できます。

知識蒸留を用いて訓練された韓国語CLIPモデルで、韓国語と英語のマルチモーダル理解をサポート

LayoutLMv3-baseモデルをWildReceipt領収書データセットでファインチューンしたバージョンで、領収書のキー情報抽出タスクに使用されます

ViT-GPT2アーキテクチャに基づく視覚-言語モデルで、画像からテキストへの変換タスクに使用