Video Blip Flan T5 Xl Ego4d

🚀 VideoBLIP, Flan T5-xl，在Ego4D上微調

VideoBLIP模型藉助了BLIP - 2，並使用Flan T5 - xl（一個擁有27億參數的大語言模型）作為其大語言模型骨幹。該模型可用於處理圖像到文本、視頻到文本、圖像描述、視頻描述以及視覺問答等視覺相關任務。

🚀 快速開始

若要查看代碼示例，請參考官方倉庫。

✨ 主要特性

VideoBLIP是增強版的BLIP - 2，具備處理視頻的能力。

🔧 技術細節

偏差、風險、限制和倫理考量

VideoBLIP - OPT使用現成的Flan - T5作為語言模型，它繼承了Flan - T5相同的風險和限制：

根據Rae等人（2021）的研究，包括Flan - T5在內的語言模型有可能被用於有害的語言生成。在未事先評估特定應用的安全性和公平性問題之前，不應直接將Flan - T5用於任何應用。

VideoBLIP尚未在現實世界的應用中進行測試，因此不應直接部署到任何應用程序中。研究人員應首先仔細評估該模型在其具體部署環境中的安全性和公平性。

📄 許可證

本項目採用MIT許可證。