# マルチモーダル処理

Gemma 3n-E2B-itはGoogleが提供する軽量オープンソースのマルチモーダルモデルで、Geminiと同じ技術に基づいて構築され、低リソースデバイス向けに最適化されています。

Gemma 3nはGoogleが開発した軽量で最先端のオープンソースモデルファミリーで、マルチモーダル入出力をサポートしています。

Gemma 3nはGoogleが開発した軽量で最先端のオープンソースのマルチモーダルモデルファミリーで、Geminiモデルと同じ研究と技術に基づいて構築され、テキスト、オーディオ、ビジュアル入力をサポートします。

NuExtract 2.0は、構造化情報抽出タスク用に訓練されたマルチモーダルモデルシリーズで、テキストと画像の入力をサポートし、多言語処理能力を備えています。

このモデルはtransformersライブラリに基づくモデルで、具体的な用途と機能はさらなる情報が必要です。

Gemma 3 4Bに基づく量子化バージョンの画像テキスト変換モデルで、知識を大衆に利用してもらうことを目的としています。

Gemma 3はGoogleが開発した軽量オープンソースのマルチモーダルモデルで、Gemini技術に基づいて構築され、テキストと画像の入力をサポートし、テキスト出力を生成します。

Transformersライブラリに基づくロバストな画像エンコーダーモデル、画像特徴抽出タスクに特化

MixTex base_ZhEn は中国語と英語をサポートする画像からテキストへの変換モデルで、MITライセンスの下で公開されています。

Gemma 3 4Bモデルを基に、Glitter 12bと同じデータ混合スキームで最適化されたモデル

このモデルはds4sd/SmolDocling-256M-previewからMLX形式に変換された視覚言語モデルで、画像テキストからテキストへのタスクをサポートします。

Gemma 3はGoogleが提供する軽量オープンモデルシリーズで、Geminiモデルと同じ研究と技術に基づいて構築され、マルチモーダル入力とテキスト出力をサポートします。

Gemma 3はGoogleが発表した軽量オープンモデルシリーズで、マルチモーダル入力（テキストと画像）をサポートし、128Kの大きな文脈ウィンドウを持ち、質問応答、要約などの様々なタスクに適しています。

sberbank-ai/ruBert-largeをファインチューニングした文書QAモデルで、文書からの回答抽出に優れ、ロシア語と英語をサポートします。

sberbank-ai/ruBert-largeをファインチューニングした文書QA専用モデルで、ロシア語と英語の文書QAタスクをサポートします。

sberbank-ai/ruBert-baseをファインチューニングした文書QAモデルで、文書のコンテキストから回答を抽出するのに優れており、ロシア語と英語をサポートしています。

Ola-7Bは、テンセント、清華大学、南洋理工大学が共同開発したマルチモーダル言語モデルで、Qwen2.5アーキテクチャを基に、画像、動画、音声、テキストの入力を処理し、テキストを出力することができます。

Ola-7Bは、テンセント、清華大学、南洋理工大学が共同開発したマルチモーダル大規模言語モデルで、Qwen2.5アーキテクチャを基に、テキスト、画像、動画、音声の入力を処理し、テキスト出力を生成することができます。

このモデルはPDF文書をMarkdown形式に変換し、元の文書のレイアウト構造を保持し、数学式や表を正確に認識します。

Florence-2-baseをファインチューニングした文書視覚QAモデルで、文書画像内のQAタスクを専門に処理します。

LongVUは長尺動画コンテンツを効率的に処理し、言語理解能力を向上させるための時空間適応圧縮技術です。

LongVUは長動画の言語理解に向けた時空間適応圧縮技術で、長動画コンテンツを効率的に処理することを目的としています。

H2O.aiが開発した8億パラメータの視覚言語モデルで、OCRとドキュメント理解に優れた性能を発揮

Oryx-1.5-7BはQwen2.5言語モデルを基に開発された7Bパラメータモデルで、32Kトークンのコンテキストウィンドウをサポートし、任意の空間サイズと時間長の視覚入力を効率的に処理することに特化しています。

マイクロソフトのFlorence-2モデルをDocmatixデータセット（データ量の5％）で1日間ファインチューニングしたバージョンで、画像テキスト理解タスクに適しています

MistralコミュニティのPixtral-12Bを基にした4ビット量子化バージョンで、画像からテキストへのタスクに特化し、中国語の説明生成をサポート

このモデルはtransformersライブラリに基づくモデルで、具体的な機能と用途はさらなる情報確認が必要です。

PyTorchで実装されたマスク生成モデルで、PytorchModelHubMixinを通じてHubに統合されています

ロボット制御タスク向けの事前学習Transformerモデルで、運動計画、物体把持などの基本機能をサポート

これはMicrosoftのFlorence-2モデルをDocmatixデータセット（データ量5%）で学習率1e-6で1日間微調整したバージョンです

Donut はTransformerベースの画像からテキストへのモデルで、画像からテキストコンテンツを抽出・生成できます。

これはマイクロソフトのKosmos-2モデルを微調整したマルチモーダルモデルで、ポケモンカードのポケモン名を識別するために特別に設計されています。

これはBLIPアーキテクチャに基づく画像説明生成モデルで、アイコンやシンプルな画像のテキスト説明を生成するために特別に設計されています。

microsoft/layoutlmv3-baseモデルをドキュメント画像分類タスクでファインチューニングしたバージョンで、評価セットでF1スコア0.8177を達成

このモデルは、X線画像などの医療画像を入力として、診断を補助する記述的なテキストに変換することができます。

microsoft/layoutlmv3-baseをファインチューニングしたドキュメント理解モデルで、ドキュメントレイアウト分析タスクに優れています

naver-clova-ix/donut-baseをファインチューニングした手書き認識モデル

LLaVAは大規模な言語と視覚のアシスタントモデルで、画像とテキストのマルチモーダルタスクを処理できます。

DocLLM_reimplementation はドキュメント理解タスクに特化した大規模言語モデルの再実装プロジェクトで、ドキュメント理解能力の再実装と改善を目的としています。

このモデルはグラフを構造化されたテーブルに変換するために使用され、UniChartアーキテクチャに基づいて構築されています。生成されるテーブルは特定の区切り文字を使用して行と列の構造を表現します。