Sharecaptioner Video

🚀 ShareCaptioner-Videoモデルカード

ShareCaptioner-Videoは、GPT4Vを支援としたShareGPT4Videoの詳細なキャプションデータでファインチューニングされたオープンソースのキャプショナーです。様々な長さ、アスペクト比、解像度のビデオに対応しています。

🚀 クイックスタート

このモデルは、高品質なビデオキャプションの生成に特化しています。コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者や愛好家に最適です。

✨ 主な機能

モデルの概要

モデルタイプ：ShareCaptioner-Videoは、InternLM-Xcomposer2-4KHDモデルをベースにしています。様々な長さ、アスペクト比、解像度のビデオに対応した、オープンソースのキャプショナーです。

ShareCaptaioner-Videoには4つの役割があります：

• 高速キャプション生成：モデルは画像グリッド形式を用いて直接ビデオのキャプションを生成し、短いビデオに最適な高速な生成速度を提供します。実際には、ビデオのすべてのキーフレームを縦長の画像に連結し、キャプションタスクでモデルを訓練します。
• スライディングキャプション生成：モデルは差分スライディングウィンドウ形式でストリーミングキャプションをサポートし、長いビデオに適した高品質なキャプションを生成します。隣接する2つのキーフレームと前の差分キャプションを入力として、それらの間で起こるイベントを説明するようにモデルを訓練します。
• クリップ要約：モデルは、ShareGPT4Videoの任意のクリップまたは差分スライディングウィンドウキャプション生成プロセスを経たビデオを迅速に要約することができ、フレームを再処理する必要がありません。すべての差分記述を入力として使用し、出力はビデオのキャプションです。
• プロンプト再キャプション生成：モデルは、特定のビデオ生成領域を好むユーザーが入力したプロンプトを再構築することができ、高品質なビデオキャプションデータで訓練されたT2VMが推論時に訓練と形式の整合性を維持することを保証します。実際には、GPT - 4を使用して高密度キャプションに対してSoraスタイルのプロンプトを生成し、生成されたプロンプトを入力として、高密度キャプションを訓練ターゲットとして逆方向に再キャプション生成タスクを訓練します。

モデルの作成日：ShareCaptionerは2024年5月に訓練されました。

詳細情報の論文またはリソース：[プロジェクト] [論文] [コード]

想定される用途

主な用途：ShareCaptioner-Videoの主な用途は、高品質なビデオキャプションの生成です。 主なユーザー：このモデルの主なユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者や愛好家です。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

ファインチューニングデータセット

• 40KのGPT4V生成ビデオキャプションペア
• 40Kの差分スライディングウィンドウキャプション生成会話
• 40Kのプロンプトからキャプションへのテキストデータ

論文

arxiv.org/abs/2406.04325