# マルチモーダルアライメント

CLIP-ViT-B/32をファインチューニングした視覚言語モデルで、画像-テキストマッチングタスクに適しています

ヘルメスフローは汎用的なマルチモーダル大規模言語モデルアライメントフレームワークで、自律的に同源の嗜好データを生成し、セルフゲームによる反復最適化とペアリングDPO技術を通じて、マルチモーダル理解と生成のギャップをシームレスに埋めることができます。

ResNet50アーキテクチャに基づくCLIPモデルの画像エンコーダー、64倍の幅拡張を備え、グローバル平均プーリング(GAP)戦略を使用

CLIPフレームワークに基づくResNet50x16バリアントモデル、画像特徴抽出に特化

これは強力なテキストと画像の交互入出力モデルで、アライメント万能アルゴリズムによる深いアライメントを行い、画像生成能力と人間の嗜好へのアライメント能力を向上させています。

HPTは異なるエンティティを共有潜在空間にアライメントするトランスフォーマーモデルで、戦略学習における拡張行動の研究に焦点を当てています。

OWL-ViTは視覚Transformerベースのオープン語彙物体検出モデルで、訓練データに存在しないカテゴリの物体を画像から検出可能です。

LanguageBindは言語を中心としたマルチモーダル事前学習手法で、言語を異なるモダリティ間の絆として、ビデオ、赤外線、深度、音声など様々なモダリティの意味的アライメントを実現します。

LanguageBindは、言語の意味的アライメントを通じてビデオ-言語事前学習をNモーダルに拡張するマルチモーダル事前学習フレームワークで、ICLR 2024に採録されました。

TinySapBERTは、SapBERTフレームワークに基づいて訓練されたマイクロ生物医学エンティティ表現モデルで、生物医学の命名エンティティ認識タスクに特化して設計されています。

dbmdz/distilbert-base-turkish-casedをベースにファインチューニングされたトルコ語テキストエンコーダーで、CLIPのViT - B/32画像エンコーダーと組み合わせて使用するためのものです。