# マルチモーダル融合

これはテキストから動画への量子化モデルで、基礎モデルをGGUF形式に変換し、ComfyUIで使用でき、テキストから動画生成により多くの選択肢を提供します。

これはvrgamedevgirl84/Wan14BT2VFusionXモデルに基づくGGUF変換バージョンで、主にテキストから動画生成タスクに使用されます。

VideoLLaMA2.1-7B-AVはマルチモーダル大規模言語モデルで、視聴覚質問応答タスクに特化しており、動画と音声の入力を同時に処理し、高品質な質問応答と記述生成が可能です。

混元ビデオ - I2Vは、全く新しい画像から動画への生成フレームワークで、騰訊の混元ビデオモデルを拡張したもので、静止画像から高品質の動画コンテンツを生成することができます。

BART-LargeとViTを基にした視覚言語モデルで、画像の英語説明文を生成します。

これはSD3.5-Largeモデルを基にしたIPアダプターで、画像を入力条件としてテキストプロンプトと共に新しい画像を生成できます。

IP-Adapterはテキストから画像への拡散モデル用の画像プロンプトアダプタで、画像プロンプトとテキストプロンプトを組み合わせて使用でき、生成画像の関連性と品質を向上させます。

テキストと画像の入出力を交互にサポートするマルチモーダルモデルで、カメレオン7Bモデルをベースにアライメント・オブ・エブリシングフレームワークで画像生成能力を強化

LinFusionは拡散モデルベースのテキストから画像生成モデルで、入力されたテキスト記述に基づき高品質な画像を生成できます。

MuAViCデータセットに基づく多言語視聴音声認識モデル、音声と視覚モダリティを組み合わせた頑健な性能を実現

ChatTimeは革新的なマルチモーダル時系列基盤モデルで、時系列を外国語としてモデル化し、時系列とテキストの双方向入出力を統一的に処理します。

ConsistentIDはマルチモーダルな細粒度アイデンティティ維持を実現したポートレート生成モデルで、極めて高いアイデンティティ忠実度のポートレートを生成可能でありながら、多様性とテキスト制御性も損ないません。

これはテキスト生成モデルと音楽生成モデルを統合して作成されたハイブリッドモデルで、テキスト生成と音楽生成の両方のタスクを処理できます。

BLIP-2はFlan T5-xxlを基にした視覚-言語モデルで、画像エンコーダーと大規模言語モデルを凍結して事前学習を行い、画像キャプション生成や視覚的質問応答などのタスクをサポートします。

このプロジェクトはYOLO物体検出モデルとLLaMa 2 7b大規模言語モデルを統合し、視覚障害者の日常移動を支援するナビゲーションサポートを目的としています。

TimesformerとBERTアーキテクチャに基づくビデオ字幕生成モデルで、ビデオコンテンツに記述的な字幕を生成できます。

BLIP-2は画像エンコーダーと大規模言語モデルを組み合わせた視覚言語モデルで、画像からテキストへのタスクに使用されます。

FuseCapは、意味的に豊かな画像説明を生成するために設計されたフレームワークで、大規模言語モデルを活用して画像説明を融合生成します。

安定拡散フレームワークを基盤としたバーチャルフィッティングシステムで、DreamBoothトレーニング、EfficientNetB3特徴抽出、OpenPose姿勢検出技術を統合

BBS-NetはRGB-D顕著物体検出のための深層学習モデルで、分岐バックボーン戦略のネットワーク構造を採用し、RGB画像と深度画像データを効果的に処理できます。

BLIP-2は画像エンコーダーと大規模言語モデルFlan T5-xxlを組み合わせた視覚言語モデルで、画像からテキストへのタスクに使用されます。

BLIP-2は、画像エンコーダーと大規模言語モデルを凍結することで、言語-画像事前学習を導く視覚-言語事前学習モデルです。

BLIP-2はOPT-6.7bベースの視覚言語モデルで、画像エンコーダーと大規模言語モデルを凍結してプレトレーニングされ、画像からテキスト生成や視覚的質問応答などのタスクをサポートします。

BLIP-2はFlan T5-xlを基にした視覚言語モデルで、画像エンコーダーと大規模言語モデルの重みを凍結した状態で事前学習を行い、画像キャプション生成や視覚的質問応答などのタスクをサポートします。

安定拡散ベースのテキストから画像生成モデル、クリエイティブな画像生成をサポート

LiLT-InfoXLMは言語非依存のレイアウトトランスフォーマーモデルで、事前学習済みのInfoXLMと言語非依存レイアウトトランスフォーマー（LiLT）を組み合わせたもので、構造化ドキュメント理解タスクに適しています。

Transformerアーキテクチャに基づく大規模言語モデルで、様々な自然言語処理タスクをサポートします。

このモデルは、wav2vec2-large-lv60とbart-largeをベースに、librispeech_asr - cleanデータセットで微調整された自動音声認識（ASR）モデルです。