Sharecaptioner Video

🚀 ShareCaptioner-Video模型卡片

ShareCaptioner-Video是一個開源的視頻字幕生成模型，它基於GPT4V輔助的詳細字幕數據進行微調，支持不同時長、寬高比和分辨率的視頻。該模型能為視頻生成高質量字幕，在計算機視覺、自然語言處理等領域有重要應用價值。

🚀 快速開始

暫未提供相關快速開始的內容。

✨ 主要特性

模型類型

ShareCaptioner-Video是一個基於InternLM-Xcomposer2-4KHD模型的開源字幕生成器，它在GPT4V輔助的ShareGPT4Video詳細字幕數據上進行了微調，支持各種時長、寬高比和分辨率的視頻。

四大功能

• 快速字幕生成：該模型採用圖像網格格式直接為視頻生成字幕，生成速度快，適用於短視頻。在實踐中，我們將視頻的所有關鍵幀拼接成一個垂直拉長的圖像，並在字幕任務上訓練模型。
• 滑動字幕生成：模型支持以差分滑動窗口格式進行流式字幕生成，生成的字幕質量高，適用於長視頻。我們將兩個相鄰的關鍵幀和之前的差分字幕作為輸入，訓練模型描述它們之間發生的事件。
• 片段總結：模型可以快速總結來自ShareGPT4Video的任何片段或經過差分滑動窗口字幕處理的視頻，無需重新處理幀。我們將所有差分描述作為輸入，輸出即為視頻字幕。
• 提示重寫字幕：模型可以根據用戶輸入的特定視頻生成區域的提示進行重寫，確保在高質量視頻 - 字幕數據上訓練的T2VM模型在推理時與訓練時保持格式一致。在實踐中，我們使用GPT - 4為密集字幕生成Sora風格的提示，並反向訓練重寫字幕任務，即以生成的提示為輸入，密集字幕為訓練目標。

模型訓練時間

ShareCaptioner於2024年5月進行訓練。

更多信息資源

[項目] [論文] [代碼]

📚 詳細文檔

預期用途

• 主要用途：ShareCaptioner-Video的主要用途是生成高質量的視頻字幕。
• 主要用戶：該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

微調數據集

• 40K條GPT4V生成的視頻 - 字幕對
• 40K條差分滑動窗口字幕對話
• 40K條提示到字幕的文本數據

相關論文

arxiv.org/abs/2406.04325

📦 安裝指南

暫未提供相關安裝指南的內容。

💻 使用示例

暫未提供相關使用示例的內容。

🔧 技術細節

暫未提供相關技術細節的內容。

📄 許可證

暫未提供相關許可證的內容。