LLaVAオープンソースマルチモーダルチャットボット - 無料で利用可能、マルチモーダル対話インタラクション体験を実現

Llava V1.5 Mlp2x 336px Pretrain Vicuna 13b V1.5

Developed by liuhaotian

LLaVAはオープンソースのマルチモーダルチャットボットで、LLaMA/VicunaをGPT生成のマルチモーダル指示追従データでファインチューニングして作成されました。

Downloads 66

Release Time : 10/5/2023

Model Overview

LLaVAはTransformerアーキテクチャに基づく自己回帰型言語モデルで、主に大規模マルチモーダルモデルとチャットボットの研究に使用されます。

マルチモーダル能力

視覚と言語理解能力を統合し、画像とテキスト入力を処理可能

指示追従

ファインチューニングにより、複雑なマルチモーダル指示を理解・実行可能

オープンソースで拡張可能

オープンソースモデルを基盤としており、研究や拡張が容易

画像理解

視覚的質問応答

画像キャプション生成

マルチモーダル対話

指示追従

研究

マルチモーダルモデル研究

視覚言語モデルの能力と限界を探求するために使用

人間とコンピュータの相互作用研究

視覚ベースの対話システムを研究

アプリケーション開発

インテリジェントアシスタント

画像内容を理解できるインテリジェント対話アシスタントを開発

教育ツール

画像内容を説明できる教育アプリケーションを作成

これは事前学習されたチェックポイントです。これを使用して、マルチモーダルモデルの命令微調整を行うことができます。

こちらの手順を参照してください。

このLLaVAの事前学習チェックポイントを利用して、マルチモーダルモデルの命令微調整を行うことが可能です。具体的な手順はこちらを参照してください。

LLaVAは、GPTが生成したマルチモーダル命令追従データを使ってLLaMA/Vicunaを微調整することで学習されたオープンソースのチャットボットです。トランスフォーマーアーキテクチャに基づく自己回帰型言語モデルです。

プロパティ	詳細
モデルタイプ	LLaVAは、GPTが生成したマルチモーダル命令追従データを使ってLLaMA/Vicunaを微調整することで学習されたオープンソースのチャットボットです。トランスフォーマーアーキテクチャに基づく自己回帰型言語モデルです。
モデルの日付	LLaVA-v1.5-MLP2x-336px-Pretrain-Vicuna-13B-v1.5は2023年9月に学習されました。
詳細情報の論文またはリソース	https://llava-vl.github.io/