L

Llava Meta Llama 3 8B Instruct

MBZUAIによって開発
Meta-Llama-3-8B-InstructとLLaVA-v1.5を統合したマルチモーダルモデルで、先進的な視覚-言語理解能力を提供
ダウンロード数 20
リリース時間 : 4/26/2024

モデル概要

このモデルはMeta-Llama-3-8B-Instructの言語理解能力とLLaVAの視覚処理能力を組み合わせ、視覚-言語連携タスクを処理可能

モデル特徴

二段階トレーニング戦略
事前学習とファインチューニングの二段階戦略を採用し、まず視覚から言語へのプロジェクタを訓練し、その後LoRA技術で大規模言語モデルを微調整
効率的なパラメータ利用
視覚プロジェクタと言語モデルパラメータの一部のみを訓練し、視覚バックボーンネットワークを凍結することでトレーニング効率を向上
マルチモーダル能力
強力な言語モデルと視覚処理能力を組み合わせ、画像関連のテキスト内容を理解・生成可能

モデル能力

視覚-言語理解
画像キャプション生成
視覚的質問応答
マルチモーダル推論

使用事例

教育
画像補助学習
学生が複雑な概念の視覚的表現を理解するのを支援
学習効率と理解深度の向上
コンテンツ作成
自動画像タグ付け
画像の詳細な説明やタイトルを生成
コンテンツ管理ワークフローの簡素化
支援技術
視覚支援
視覚障害者向けに画像内容を説明
アクセシビリティの向上
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase