LLaVA - NeXT - Video - 7B - DPOオープンソースマルチモーダル対話モデル

Llava NeXT Video 7B DPO

Developed by lmms-lab

LLaVA-Next-Videoはオープンソースのマルチモーダルダイアログモデルで、大規模言語モデルをマルチモーダル指示追従データで微調整しており、ビデオとテキストのマルチモーダルインタラクションをサポートします。

Downloads 8,049

Release Time : 4/16/2024

Model Overview

LLaVA-Next-VideoはVicuna-7Bをベースにしたマルチモーダルダイアログモデルで、ビデオとテキストのマルチモーダルインタラクションに特化しており、マルチモーダルダイアログシステムの研究開発に適しています。

マルチモーダルインタラクション

ビデオとテキストのマルチモーダル入力をサポートし、ビデオ内容に関連したテキスト応答を生成できます。

指示追従

マルチモーダル指示追従データによる微調整で、複雑なマルチモーダル指示を理解し実行できます。

オープンソースモデル

完全なオープンソースで、研究者や開発者が二次開発やカスタマイズを容易に行えます。

ビデオ内容理解

マルチモーダルダイアログ生成

指示追従

ビデオ質問応答

研究

マルチモーダルダイアログシステム研究

マルチモーダルダイアログシステムの研究開発に使用され、ビデオとテキストのインタラクション方法を探求します。

教育

ビデオ内容の質問応答

教育現場で、ビデオ内容に基づいた質問応答や説明を生成するために使用されます。

LLaVA-Next-Videoは、多モーダル命令追従データで大規模言語モデル（LLM）をファインチューニングすることで学習されたオープンソースのチャットボットです。このモデルは、画像や動画などの多様なデータを用いて、大規模多モーダルモデルやチャットボットに関する研究に役立ちます。

このモデルは、多モーダルデータを用いた研究や開発に利用できます。以下のセクションでは、モデルの詳細、ライセンス、使用目的、トレーニングデータセットなどについて説明します。

プロパティ	詳細
モデルタイプ	LLaVA-Next-Videoは、多モーダル命令追従データでLLMをファインチューニングしたオープンソースのチャットボットです。このモデルは、こちらで説明されています。ベースのLLMは、lmsys/vicuna-7b-v1.5です。
モデル作成日	LLaVA-Next-Video-7B-DPOは、2024年4月に学習されました。
詳細情報の論文またはリソース	GitHubリポジトリ