Videollm Online 8b V1plus

🚀 ビデオLLMオンラインモデル

このモデルは、ストリーミングビデオに対応したマルチモーダルな大規模言語モデルで、ビデオ理解やテキスト生成などのタスクに活用できます。

🚀 クイックスタート

まずは、GitHubリポジトリをクローンし、インストール手順に従ってください。

git clone https://github.com/showlab/videollm-online

MinicondaとPythonバージョン3.10以上がインストールされていることを確認し、以下のコマンドを実行します。

conda install -y pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install transformers accelerate deepspeed peft editdistance Levenshtein tensorboard gradio moviepy submitit
pip install flash-attn --no-build-isolation

PyTorchのソースでffmpegがインストールされますが、古いバージョンであり、前処理の品質が低いことが多いです。最新のffmpegを以下の手順でインストールしてください。

wget https://johnvansickle.com/ffmpeg/releases/ffmpeg-release-amd64-static.tar.xz
tar xvf ffmpeg-release-amd64-static.tar.xz
rm ffmpeg-release-amd64-static.tar.xz
mv ffmpeg-7.0.1-amd64-static ffmpeg

リアルタイムストリーミングの音声でモデルを試したい場合は、ChatTTSもクローンしてください。

pip install omegaconf vocos vector_quantize_pytorch cython
git clone git+https://github.com/2noise/ChatTTS
mv ChatTTS demo/rendering/

ローカルでGradioデモを起動するには、以下のコマンドを実行します。

python -m demo.app --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus

または、ローカルでCLIを起動するには、以下のコマンドを実行します。

python -m demo.cli --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus

✨ 主な機能

• マルチモーダルな大規模言語モデルで、ビデオとテキストの相互作用をサポートします。
• ストリーミングビデオに対応しており、リアルタイムでのビデオ理解が可能です。

📦 インストール

インストール手順は「クイックスタート」を参照してください。

📚 ドキュメント

モデル詳細

• LLM: meta-llama/Meta-Llama-3-8B-Instruct
• ビジョン戦略:
  • フレームエンコーダ: google/siglip-large-patch16-384
  • フレームトークン: CLSトークン + 3x3トークンの平均プーリング
  • フレームFPS: 学習時は2、推論時は2～10
  • フレーム解像度: 最大解像度384、アスペクト比を維持するためにゼロパディング
  • ビデオ長: 10分
• 学習データ: Ego4D Narration Stream 113K + Ego4D GoalStep Stream 21K

モデルソース

• リポジトリ: https://github.com/showlab/videollm-online
• 論文: https://arxiv.org/abs/2406.11816

引用

@inproceedings{videollm-online,
  author       = {Joya Chen and Zhaoyang Lv and Shiwei Wu and Kevin Qinghong Lin and Chenan Song and Difei Gao and Jia-Wei Liu and Ziteng Gao and Dongxing Mao and Mike Zheng Shou},
  title        = {VideoLLM-online: Online Video Large Language Model for Streaming Video},
  booktitle    = {CVPR},
  year         = {2024},
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。