Videochat TPO

🚀 VideoChat2-TPO

このモデルは論文 Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment に基づいています。このモデルは、ビデオとテキストを入力として受け取り、テキストを出力するビデオ - テキスト変換タスクに特化しています。

🚀 クイックスタート

以下のセクションでは、このモデルのインストール方法と使用例を説明します。

✨ 主な機能

• ベースモデルとして mistralai/Mistral-7B-Instruct-v0.2 を使用。
• transformers ライブラリを利用している。
• ビデオ - テキスト変換タスクに特化。

📦 インストール

必要なパッケージをインストールし、アプリケーションを起動するには、以下のコマンドを実行します。

pip install -r requirements.txt
python app.py

💻 使用例

基本的な使用法

# オリジナルのコードとコメントを保持
from transformers import AutoModel, AutoTokenizer
from tokenizer import MultimodalLlamaTokenizer

model_path = "OpenGVLab/VideoChat-TPO"
tokenizer =  AutoTokenizer.from_pretrained(model_path,
trust_remote_code=True,
use_fast=False,)
model = AutoModel.from_pretrained(model_path,  trust_remote_code=True, _tokenizer=self.tokenizer).eval()

📄 ライセンス

このプロジェクトは MIT ライセンスの下で公開されています。

📋 情報テーブル